Summary  
This chapter covers controlling the complexity of decision trees to prevent overfitting by tuning hyperparameters such as maximum tree depth and minimum samples per leaf.  

General domain of usage  
Supervised machine learning (predictive modeling)

Bevor wir mit der Implementierung eines Entscheidungsbaums in Python beginnen, gibt es ein wichtiges Thema zu besprechen: **Overfitting** – die zentrale Herausforderung bei Entscheidungsbäumen.

Nachfolgend ein Beispiel dafür, wie der Entscheidungsbaum den Datensatz anpasst. Es ist zu erkennen, wie das Modell **auf die Trainingsdaten eingeht** und deren Muster sowie Feinheiten erfasst:

Obwohl das Modell **das Trainingsset perfekt abbildet** und keine Instanzen falsch klassifiziert, besteht das Problem darin, dass die Entscheidungsgrenzen **zu komplex** sind. Daher wird die Genauigkeit auf dem Test- (oder Cross-Validation-) Datensatz deutlich niedriger sein als die Genauigkeit auf dem Trainingsset, was darauf hinweist, dass das Modell **überanpasst**.

Der Grund dafür ist, dass das Modell **so viele Aufteilungen wie nötig** vornimmt, um die Trainingsdaten perfekt abzubilden.

Glücklicherweise ist der Entscheidungsbaum sehr konfigurierbar, sodass wir seine Hyperparameter anpassen können, um **Überanpassung zu minimieren**.

## Maximale Baumtiefe

**Tiefe** eines Knotens ist der (vertikale) Abstand vom Knoten zum Wurzelknoten.

Die **maximale Tiefe** eines Entscheidungsbaums kann begrenzt werden, wodurch der Baum kleiner wird und weniger zur Überanpassung neigt. Dazu werden die Entscheidungsnoten auf der maximalen Tiefe in **Blattknoten** umgewandelt.

Hier ist außerdem ein GIF, das zeigt, wie sich die Entscheidungsgrenze bei unterschiedlichen maximalen Tiefenwerten verändert:

## Minimale Anzahl von Stichproben

Eine weitere Möglichkeit, den Baum einzuschränken, besteht darin, die **minimale Anzahl von Stichproben** an den Blattknoten festzulegen. Dadurch wird das Modell einfacher und robuster gegenüber Ausreißern.

Hier ist zu sehen, wie dieser Hyperparameter die **Entscheidungsgrenze** beeinflusst:

Beide dieser Hyperparameter sind in der **scikit-learn Decision Tree**-Implementierung verfügbar.  
Standardmäßig ist der Baum nicht eingeschränkt: `max_depth` ist auf `None` gesetzt, was bedeutet, dass es keine Begrenzung der Tiefe gibt, und `min_samples_leaf` ist auf `1` gesetzt.

Beherrschen Sie die grundlegenden Klassifikationsalgorithmen, die moderne Machine-Learning-Anwendungen antreiben. Erforschen Sie, wie Modelle wie k-NN, logistische Regression, Entscheidungsbäume und Random Forests Vorhersagen treffen, deren Genauigkeit bewerten und verstehen, wann welches Modell eingesetzt wird. Entwickeln Sie die Fähigkeiten, Modelle zu vergleichen und das beste für Ihre Daten auszuwählen.

Erfahren Sie, wie der k-nächste-Nachbarn-Algorithmus Vorhersagen auf Basis von Ähnlichkeiten trifft. Umgang mit mehreren Merkmalen, Parametereinstellung und Anwendung von Kreuzvalidierung zur Verbesserung der Genauigkeit.

Verstehen, wie die logistische Regression Wahrscheinlichkeiten modelliert und Ergebnisse klassifiziert. Anwendung der Implementierung, Interpretation von Entscheidungsgrenzen und Einsatz von Regularisierung zur Vermeidung von Overfitting.

Erfahren Sie, wie Entscheidungsbäume Daten anhand von Merkmalswerten in sinnvolle Gruppen unterteilen. Untersuchen Sie, wie Parameter wie Baumtiefe und minimale Stichprobengröße pro Blatt die Modellleistung und Generalisierung beeinflussen.

Erkunden, wie Random Forests mehrere Entscheidungsbäume kombinieren, um Genauigkeit und Robustheit zu verbessern.
Die Rolle des Zufalls verstehen und diese Ensemble-Methode auf reale Daten anwenden.

Bewertung von Modellen anhand von Metriken wie Genauigkeit, Präzision, Recall und F1-Score. Interpretation von Konfusionsmatrizen und Vergleich mehrerer Klassifikatoren zur Identifikation des leistungsstärksten Modells.

Überanpassung Bei Entscheidungsbäumen Verhindern

Maximale Baumtiefe

Minimale Anzahl von Stichproben