Підсумок моделювання

Тепер ви знаєте, як створювати модель, використовувати конвеєри та налаштовувати гіперпараметри. Ви також ознайомилися з двома методами оцінювання: розділення на тренувальну та тестову вибірки і крос-валідація. Наступний крок — поєднання оцінювання та налаштування за допомогою GridSearchCV або RandomizedSearchCV.

Оскільки крос-валідація є стабільнішою за просте розділення на тренувальну та тестову вибірки, мета — досягти найвищого балу крос-валідації. GridSearchCV перебирає гіперпараметри та знаходить ті, що максимізують цей бал. Найкращий бал зберігається у .best_score_.

Поширений робочий процес: розділення на навчальний і тестовий набори; проведення крос-валідації на навчальному наборі для налаштування моделі; потім оцінка оптимізованої моделі на тестовому наборі для вимірювання продуктивності в реальних умовах.

Підсумок:

1. Попередня обробка даних;
2. Розділення на навчальну та тестову вибірки;
3. Використання крос-валідації на навчальній вибірці для пошуку найкращої конфігурації;
4. Оцінювання на тестовій вибірці.

Крос-валідація не завжди є найкращим варіантом. Для великих наборів даних обчислення CV-оцінок стає затратним, тоді як розділення на навчальну і тестову вибірки стає більш стабільним завдяки великому тестовому набору.

Великі набори даних часто поділяються на навчальну, валідаційну та тестову вибірки. Гіперпараметри обираються на основі результатів на валідаційній вибірці. Нарешті, обрана модель оцінюється на тестовій вибірці для перевірки її здатності до узагальнення.

Набір даних penguins є невеликим і містить лише 342 записи. Через обмежений розмір для оцінювання у наступному розділі буде використано оцінку за допомогою крос-валідації.