Résumé du Cours

Résumons et mettons en évidence les principales informations couvertes dans le cours.

L'apprentissage par ensemble en apprentissage automatique est une technique qui combine les prédictions de plusieurs modèles individuels (apprenants) pour produire une prédiction ou une classification plus robuste et précise. Il exploite le principe selon lequel en agrégeant les opinions de plusieurs modèles, vous pouvez souvent obtenir de meilleurs résultats qu'en vous appuyant sur un seul modèle.
Il existe trois techniques couramment utilisées pour créer des ensembles : bagging, boosting et stacking.

Ensembles de Bagging

1. Bagging (Bootstrap Aggregating) est une technique d'apprentissage par ensemble dans laquelle plusieurs modèles individuels, souvent du même type, sont entraînés indépendamment sur des sous-ensembles aléatoires des données d'entraînement, permettant des échantillons répétés (avec remplacement). Chaque modèle produit sa prédiction, et la prédiction finale est généralement obtenue par moyenne (pour la régression) ou vote (pour la classification) des sorties des modèles individuels;

2. L'entraînement des ensembles de bagging en parallèle en utilisant le paramètre n_jobs permet l'entraînement simultané de modèles individuels sur différents sous-ensembles de données, accélérant considérablement le processus d'entraînement de l'ensemble en utilisant plusieurs cœurs de CPU;

3. Les principales classes utilisées pour implémenter des modèles de bagging en Python incluent :

   • BaggingClassifier: Cette classe est utilisée pour construire des ensembles de bagging pour les tâches de classification;
   • BaggingRegressor: Similaire à BaggingClassifier, cette classe est utilisée pour construire des ensembles de bagging spécifiquement pour les tâches de régression;
   • RandomForestClassifier et RandomForestRegressor: Ces classes implémentent l'apprentissage par ensemble en utilisant un type spécifique de bagging appelé Forêts Aléatoires;
   • ExtraTreesClassifier et ExtraTreesRegressor: Ces classes sont similaires aux Forêts Aléatoires mais utilisent une technique différente appelée arbres extrêmement randomisés, qui randomise davantage le processus de sélection des caractéristiques en plus du bagging.

Ensembles de Boosting

1. Les ensembles de Boosting sont des techniques d'apprentissage automatique qui entraînent plusieurs apprenants faibles séquentiellement, chacun se concentrant sur la correction des erreurs de son prédécesseur;
2. AdaBoost (Adaptive Boosting) est un algorithme d'apprentissage par ensemble qui attribue des poids aux instances d'entraînement, en mettant l'accent sur celles mal classées à chaque itération, permettant aux classificateurs faibles suivants de se concentrer sur les exemples difficiles. En Python, vous pouvez implémenter AdaBoost pour les tâches de classification et de régression en utilisant les classes AdaBoostClassifier et AdaBoostRegresso de la bibliothèque sklearn;
3. Gradient Boosting est une méthode d'apprentissage par ensemble qui construit un modèle prédictif fort en entraînant séquentiellement des arbres de décision, chacun visant à corriger les erreurs commises par les arbres précédents. En Python, vous pouvez implémenter Gradient Boosting en utilisant la bibliothèque sklearn. Vous pouvez utiliser la classe GradientBoostingClassifier pour les tâches de classification et la classe GradientBoostingRegressor pour les tâches de régression;
4. XGBoost, abréviation de Extreme Gradient Boosting, est une bibliothèque d'apprentissage par ensemble de boosting de gradient puissante et efficace connue pour ses hautes performances et sa capacité à gérer une large gamme de tâches d'apprentissage automatique. XGBoost utilise une structure de données optimisée spéciale appelée DMatrix pour améliorer les performances du modèle. Pour implémenter XGBoost en Python, vous pouvez utiliser les classes XGBoostClassifier et XGBoostRegressor de la bibliothèque xgboost.

Ensembles de Stacking

1. L'Ensemble de Stacking est une technique d'apprentissage par ensemble qui combine les prédictions de plusieurs modèles de base en entraînant un méta-modèle (souvent appelé méta-apprenant) sur leurs sorties, lui permettant d'apprendre comment mieux combiner leurs prédictions pour améliorer les performances globales;
2. Les ensembles de stacking nous donnent l'opportunité d'utiliser différents types de modèles de base lors de l'entraînement d'un seul ensemble;
3. Vous pouvez implémenter un ensemble de stacking en utilisant la classe StackingClassifier pour la classification et la classe StackingRegressor pour la régression de la bibliothèque sklearn.