Empilement de Modèles

Le stacking, également connu sous le nom de généralisation empilée, est une technique d'apprentissage ensembliste qui combine plusieurs modèles de base (apprenants) avec un méta-modèle pour améliorer les performances prédictives. C'est une forme plus avancée d'apprentissage ensembliste que le boosting et le bagging.
Le stacking vise à tirer parti des forces de différents modèles de base et à apprendre comment combiner au mieux leurs prédictions grâce au méta-modèle.

Comment fonctionne le stacking ?

Voici comment fonctionne le stacking :

1. Modèles de base (Modèle de niveau 0) : Plusieurs modèles de base divers sont entraînés sur les données d'entraînement. Ces modèles de base peuvent être différents algorithmes d'apprentissage automatique ou des variations du même algorithme avec différents hyperparamètres. Chaque modèle de base fait des prédictions sur les données de test.
2. Méta-modèle (Modèle de niveau 1) : Un méta-modèle, également connu sous le nom de mélangeur ou modèle de second niveau, est ensuite entraîné en utilisant les prédictions faites par les modèles de base comme ses caractéristiques d'entrée. Le méta-modèle apprend à combiner ces prédictions et à générer la prédiction finale de l'ensemble.
3. Entraînement et Validation : Les données d'entraînement sont généralement divisées en plusieurs plis (ou sous-ensembles). Les modèles de base sont entraînés sur différents plis, et le méta-modèle est entraîné sur les prédictions faites par les modèles de base sur les données restantes (prédictions hors pli). Cela aide à éviter le surapprentissage pendant le processus de stacking.
4. Prédiction : Après avoir entraîné les modèles de base et le méta-modèle, la prédiction finale est faite en passant les données de test à travers les modèles de base pour obtenir leurs prédictions, puis en utilisant ces prédictions comme entrée pour le méta-modèle afin de produire la prédiction finale de l'ensemble.

Remarque

Notez que dans les ensembles de stacking, nous avons la possibilité d'utiliser plusieurs modèles ensemble comme modèles de base. Cependant, dans d'autres techniques d'ensemble, nous sommes limités à utiliser un seul modèle de base particulier pour entraîner chaque ensemble.

Vous pouvez voir le principe de la réalisation des prédictions par l'ensemble de stacking dans l'image ci-dessous :

En tirant parti des forces de différents modèles de base et en apprenant comment combiner de manière optimale leurs prédictions, le stacking peut conduire à une amélioration des performances prédictives par rapport à l'utilisation de n'importe quel modèle unique isolément. Cependant, il nécessite un réglage et une validation minutieux pour éviter le surapprentissage et obtenir les meilleurs résultats.