Підсумок Моделювання
Тепер ви знаєте, як створювати модель, використовувати конвеєри та налаштовувати гіперпараметри. Ви також ознайомилися з двома методами оцінювання: розділення на навчальну та тестову вибірки і крос-валідація.
Наступний крок — поєднати оцінювання та налаштування за допомогою GridSearchCV або RandomizedSearchCV.
Оскільки наш набір даних дуже малий, ми будемо використовувати GridSearchCV, але все, що сказано нижче, також стосується RandomizedSearchCV.
Оскільки крос-валідація є стабільнішою, ніж одиночне розділення на навчальну та тестову вибірки, мета — досягти найвищого балу крос-валідації.
GridSearchCV перебирає гіперпараметри та знаходить ті, що максимізують цей бал. Найкращий бал зберігається у .best_score_.
Гіперпараметри, які найкраще працюють для одного набору даних, можуть не узагальнюватися при появі нових даних.
Тому .best_score_ може бути вищим, ніж продуктивність моделі на повністю невідомих даних.
Поширений робочий процес: розділення на тренувальний і тестовий набори; проведення крос-валідації на тренувальному наборі для налаштування моделі; потім оцінка оптимізованої моделі на тестовому наборі для вимірювання продуктивності в реальних умовах.
Підсумок:
- Попередня обробка даних;
- Розділення на тренувальний і тестовий набори;
- Використання крос-валідації на тренувальному наборі для пошуку найкращої конфігурації;
- Оцінка на тестовому наборі.
Третій етап зазвичай передбачає тестування декількох алгоритмів і налаштування їхніх гіперпараметрів для визначення найкращого варіанту. Для спрощення в цьому курсі використовувався лише один алгоритм.
Крос-валідація не завжди є найкращим варіантом. Для великих наборів даних обчислення CV-оцінок стає затратним, тоді як розділення на train-test забезпечує більшу стабільність завдяки великій тестовій вибірці.
Великі набори даних часто розділяють на навчальну, валідаційну та тестову вибірки. Гіперпараметри обираються на основі результатів на валідаційній вибірці. Нарешті, обрана модель оцінюється на тестовій вибірці для перевірки її здатності до узагальнення.
Набір даних penguins є невеликим і містить лише 342 екземпляри. Через обмежений розмір для оцінювання у наступному розділі буде використано оцінку за допомогою крос-валідації.
Дякуємо за ваш відгук!
Запитати АІ
Запитати АІ
Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат
What is the difference between GridSearchCV and RandomizedSearchCV?
Can you explain how cross-validation works in more detail?
Why is cross-validation preferred for small datasets?
Awesome!
Completion rate improved to 3.13Підсумок Моделювання
Свайпніть щоб показати меню
Тепер ви знаєте, як створювати модель, використовувати конвеєри та налаштовувати гіперпараметри. Ви також ознайомилися з двома методами оцінювання: розділення на навчальну та тестову вибірки і крос-валідація.
Наступний крок — поєднати оцінювання та налаштування за допомогою GridSearchCV або RandomizedSearchCV.
Оскільки наш набір даних дуже малий, ми будемо використовувати GridSearchCV, але все, що сказано нижче, також стосується RandomizedSearchCV.
Оскільки крос-валідація є стабільнішою, ніж одиночне розділення на навчальну та тестову вибірки, мета — досягти найвищого балу крос-валідації.
GridSearchCV перебирає гіперпараметри та знаходить ті, що максимізують цей бал. Найкращий бал зберігається у .best_score_.
Гіперпараметри, які найкраще працюють для одного набору даних, можуть не узагальнюватися при появі нових даних.
Тому .best_score_ може бути вищим, ніж продуктивність моделі на повністю невідомих даних.
Поширений робочий процес: розділення на тренувальний і тестовий набори; проведення крос-валідації на тренувальному наборі для налаштування моделі; потім оцінка оптимізованої моделі на тестовому наборі для вимірювання продуктивності в реальних умовах.
Підсумок:
- Попередня обробка даних;
- Розділення на тренувальний і тестовий набори;
- Використання крос-валідації на тренувальному наборі для пошуку найкращої конфігурації;
- Оцінка на тестовому наборі.
Третій етап зазвичай передбачає тестування декількох алгоритмів і налаштування їхніх гіперпараметрів для визначення найкращого варіанту. Для спрощення в цьому курсі використовувався лише один алгоритм.
Крос-валідація не завжди є найкращим варіантом. Для великих наборів даних обчислення CV-оцінок стає затратним, тоді як розділення на train-test забезпечує більшу стабільність завдяки великій тестовій вибірці.
Великі набори даних часто розділяють на навчальну, валідаційну та тестову вибірки. Гіперпараметри обираються на основі результатів на валідаційній вибірці. Нарешті, обрана модель оцінюється на тестовій вибірці для перевірки її здатності до узагальнення.
Набір даних penguins є невеликим і містить лише 342 екземпляри. Через обмежений розмір для оцінювання у наступному розділі буде використано оцінку за допомогою крос-валідації.
Дякуємо за ваш відгук!
