Contenu du cours
Apprentissage Ensembliste
Apprentissage Ensembliste
Modèles de Boosting
Les modèles de boosting sont des techniques d'apprentissage ensembliste qui combinent plusieurs apprenants faibles (généralement des modèles simples) pour créer un apprenant fort avec des performances prédictives améliorées. Contrairement au bagging, qui entraîne des modèles de base indépendamment et combine leurs prédictions par vote, le boosting construit des modèles de base séquentiellement, chaque modèle suivant se concentrant sur la correction des erreurs des précédents.
Comment fonctionnent les modèles de boosting ?
L'idée générale du fonctionnement du boosting est la suivante :
- Données pondérées : Initialement, chaque point de données dans l'ensemble d'entraînement se voit attribuer un poids égal. Le premier modèle de base est entraîné sur ces données d'entraînement pondérées.
- Apprentissage séquentiel : Après l'entraînement du premier modèle, il fait des prédictions sur les données d'entraînement. Les poids des points de données mal classés sont augmentés pour leur donner une plus grande importance dans le modèle suivant.
- Processus itératif : Le modèle suivant est ensuite entraîné sur les données d'entraînement mises à jour et re-pondérées. Ce processus est répété pour un nombre prédéfini d'itérations (ou jusqu'à ce qu'un critère d'arrêt soit atteint).
- Prédiction ensembliste : La prédiction finale est faite en combinant les prédictions de tous les modèles de base.
Quels sont les modèles de boosting les plus populaires ?
Les modèles de boosting les plus populaires sont le Boosting Adaptatif (AdaBoost), les Machines de Boosting de Gradient (GBM) et le Boosting de Gradient Extrême (XGBoost). Fournissons une brève description de chacun :
- Boosting Adaptatif (AdaBoost) : AdaBoost fonctionne en entraînant de manière itérative une série d'apprenants faibles (typiquement des arbres de décision) sur des versions re-pondérées des données d'entraînement. À chaque itération, l'algorithme attribue des poids plus élevés aux échantillons mal classés de l'itération précédente, se concentrant ainsi efficacement sur les points de données plus difficiles à prédire.
- Machines de Boosting de Gradient (GBM) : GBM est un algorithme de boosting puissant qui construit des modèles de base séquentiellement, chacun tentant de corriger les erreurs du précédent. L'idée clé derrière GBM est de minimiser les erreurs (résidus) des itérations de modèles précédentes en ajustant de nouveaux apprenants faibles à ces résidus.
- Boosting de Gradient Extrême (XGBoost) : XGBoost est une implémentation optimisée et très efficace du boosting de gradient. Il améliore l'algorithme GBM original en incorporant des techniques de régularisation, en gérant les données manquantes et en utilisant le calcul distribué pour un entraînement plus rapide.
Boosting vs Bagging
Fournissons une analyse comparative des méthodes de boosting et de bagging :
| Aspect | Boosting | Bagging |
|---|---|---|
| Technique | Apprentissage ensembliste séquentiel | Apprentissage ensembliste parallèle |
| Modèles de base | Construits séquentiellement, chacun corrigeant le précédent | Construits indépendamment, chacun entraîné sur des sous-ensembles aléatoires de données |
| Attribution de poids | Poids plus élevés aux échantillons mal classés | Poids égaux à tous les modèles de base |
| Focus principal | Correction des erreurs et des points de données difficiles à prédire | Réduction de la variance de la prédiction |
| Compromis biais-variance | Tend à avoir un biais plus faible mais peut être sujet au surapprentissage | Tend à avoir une variance plus faible et moins de surapprentissage |
| Entraînement parallèle | Non | Oui |
Nous devons nous rappeler que le choix entre Boosting et Bagging dépend du problème spécifique, des caractéristiques des données et du compromis entre biais et variance qui convient le mieux à la situation. Le Boosting et le Bagging sont tous deux des techniques puissantes en apprentissage ensembliste, et leur efficacité peut être influencée par des facteurs tels que les modèles de base utilisés et le réglage des hyperparamètres.
Merci pour vos commentaires !
