Résumé de la Modélisation

Vous savez maintenant comment construire un modèle, utiliser des pipelines et ajuster les hyperparamètres. Vous avez également appris deux méthodes d'évaluation : la séparation train-test et la validation croisée. L'étape suivante consiste à combiner l'évaluation et l'ajustement à l'aide de GridSearchCV ou RandomizedSearchCV.

Puisque la validation croisée est plus stable qu'une simple séparation train-test, l'objectif est d'obtenir le meilleur score de validation croisée. GridSearchCV explore les hyperparamètres et trouve ceux qui maximisent ce score. Le meilleur score est stocké dans .best_score_.

Flux de travail courant : division en ensembles d'entraînement et de test ; exécution de la validation croisée sur l'ensemble d'entraînement pour ajuster le modèle ; puis évaluation du modèle optimisé sur l'ensemble de test pour mesurer la performance en conditions réelles.

Pour résumer :

1. Prétraitement des données ;
2. Séparation en ensembles d'entraînement et de test ;
3. Utilisation de la validation croisée sur l'ensemble d'entraînement pour trouver la meilleure configuration ;
4. Évaluation sur l'ensemble de test.

La validation croisée n'est pas toujours la meilleure option. Pour les grands ensembles de données, le calcul des scores de validation croisée devient coûteux, tandis qu'une séparation entraînement-test devient plus stable grâce à la taille importante de l'ensemble de test.

Les grands ensembles de données sont souvent divisés en ensembles de formation, de validation et de test. Les hyperparamètres sont choisis en fonction des performances sur l’ensemble de validation. Enfin, le modèle sélectionné est évalué sur l’ensemble de test afin de vérifier sa capacité de généralisation.

Le jeu de données des manchots est de petite taille, avec seulement 342 instances. En raison de cette taille limitée, le score de validation croisée sera utilisé pour l’évaluation dans le prochain chapitre.