Modelle Stapeln

Stacking, auch bekannt als gestapelte Generalisierung, ist eine Ensemble-Lerntechnik, die mehrere Basismodelle (Lerner) mit einem Meta-Modell kombiniert, um die Vorhersageleistung zu verbessern. Es ist eine fortgeschrittenere Form des Ensemble-Lernens als Boosting und Bagging.
Stacking zielt darauf ab, die Stärken verschiedener Basismodelle zu nutzen und zu lernen, wie man ihre Vorhersagen durch das Meta-Modell am besten kombiniert.

Wie funktioniert Stacking?

So funktioniert Stacking:

1. Basismodelle (Level 0 Modell): Mehrere verschiedene Basismodelle werden auf den Trainingsdaten trainiert. Diese Basismodelle können unterschiedliche maschinelle Lernalgorithmen oder Variationen desselben Algorithmus mit unterschiedlichen Hyperparametern sein. Jedes Basismodell macht Vorhersagen auf den Testdaten.
2. Meta-Modell (Level 1 Modell): Ein Meta-Modell, auch als Blender oder Zweitstufenmodell bekannt, wird dann unter Verwendung der Vorhersagen der Basismodelle als Eingabefunktionen trainiert. Das Meta-Modell lernt, diese Vorhersagen zu kombinieren und die endgültige Ensemble-Vorhersage zu erzeugen.
3. Training und Validierung: Die Trainingsdaten werden typischerweise in mehrere Falten (oder Untergruppen) aufgeteilt. Die Basismodelle werden auf verschiedenen Falten trainiert, und das Meta-Modell wird auf den Vorhersagen der Basismodelle auf den verbleibenden Daten (Out-of-Fold-Vorhersagen) trainiert. Dies hilft, Überanpassung während des Stacking-Prozesses zu vermeiden.
4. Vorhersage: Nach dem Training der Basismodelle und des Meta-Modells wird die endgültige Vorhersage gemacht, indem die Testdaten durch die Basismodelle geleitet werden, um deren Vorhersagen zu erhalten, und dann diese Vorhersagen als Eingabe für das Meta-Modell verwendet werden, um die endgültige Vorhersage des Ensembles zu erzeugen.

Hinweis

Beachten Sie, dass wir in Stacking-Ensembles die Möglichkeit haben, mehrere Modelle zusammen als Basismodelle zu verwenden. In anderen Ensemble-Techniken sind wir jedoch darauf beschränkt, nur ein bestimmtes Basismodell für das Training jedes Ensembles zu verwenden.

Sie können das Prinzip der Vorhersagen durch das Stacking-Ensemble im Bild unten sehen:

Durch die Nutzung der Stärken verschiedener Basismodelle und das Lernen, wie man ihre Vorhersagen optimal kombiniert, kann Stacking zu einer verbesserten Vorhersageleistung führen, verglichen mit der Verwendung eines einzelnen Modells in Isolation. Es erfordert jedoch sorgfältige Abstimmung und Validierung, um Überanpassung zu verhindern und die besten Ergebnisse zu erzielen.