Summary  
This chapter explains how to tune model hyperparameters by combining cross-validation with GridSearchCV or RandomizedSearchCV in a workflow that splits data into training, validation, and test sets to optimize and evaluate machine learning pipelines.

General domain of usage  
Machine learning model evaluation and selection

Sie wissen nun, wie man ein **Modell** erstellt, **Pipelines** verwendet und **Hyperparameter** abstimmt. Außerdem haben Sie zwei Evaluierungsmethoden kennengelernt: Train-Test-Split und Kreuzvalidierung.
Der nächste Schritt ist die Kombination von Evaluierung und Abstimmung mit `GridSearchCV` oder `RandomizedSearchCV`.

Da unser Datensatz sehr klein ist, verwenden wir das `GridSearchCV`, aber alles, was unten gesagt wird, gilt auch für ein `RandomizedSearchCV`.

Hinweis

Da die Kreuzvalidierung stabiler ist als ein einzelner Train-Test-Split, besteht das Ziel darin, den **höchsten Kreuzvalidierungswert** zu erreichen.
`GridSearchCV` durchsucht die Hyperparameter und findet diejenigen, die diesen Wert maximieren. Der beste Wert wird in `.best_score_` gespeichert.

Hyperparameter, die für einen Datensatz am besten funktionieren, **generalieren möglicherweise nicht**, wenn neue Daten hinzukommen.
Daher kann `.best_score_` höher sein als die Leistung des Modells auf **vollständig unbekannten** Daten.

Typischer Workflow: Aufteilen in Trainings- und Testdaten; Durchführung der Kreuzvalidierung auf dem **Trainingsdatensatz**, um das Modell abzustimmen; anschließend Bewertung des optimierten Modells auf dem **Testdatensatz**, um die reale Leistungsfähigkeit zu messen.

Zusammenfassung:

1. Daten vorverarbeiten;
2. In Trainings- und Testdaten aufteilen;
3. Kreuzvalidierung auf dem Trainingsdatensatz durchführen, um die beste Konfiguration zu finden;
4. Auf dem Testdatensatz auswerten.

Der dritte Schritt beinhaltet üblicherweise das Testen **mehrerer Algorithmen** und das Abstimmen ihrer Hyperparameter, um die beste Option zu identifizieren. Zur Vereinfachung wurde in diesem Kurs nur ein einzelner Algorithmus verwendet.


Weiterführende Informationen

Kreuzvalidierung ist nicht immer die beste Option. Bei großen Datensätzen wird die Berechnung der CV-Werte aufwendig, während ein Train-Test-Split durch die große Testmenge stabiler wird.

Große Datensätze werden häufig in **Trainings-, Validierungs-** und **Testmengen** aufgeteilt.
Hyperparameter werden basierend auf der Leistung auf dem **Validierungsdatensatz** ausgewählt.
Abschließend wird das gewählte Modell auf dem **Testdatensatz** bewertet, um zu überprüfen, wie gut es generalisiert.

Der **Penguins-Datensatz** ist klein und umfasst nur 342 Instanzen. Aufgrund dieser begrenzten Größe wird im nächsten Kapitel der Kreuzvalidierungswert zur Bewertung verwendet.


Warum ist Kreuzvalidierung besonders wertvoll für das Hyperparameter-Tuning bei kleineren Datensätzen, im Gegensatz zu größeren Datensätzen, bei denen Train-Test-Splits bevorzugt werden?

Maschinelles Lernen wird heute überall eingesetzt. Möchten Sie es selbst erlernen? Dieser Kurs ist eine Einführung in die Welt des maschinellen Lernens, um grundlegende Konzepte zu verstehen, mit Scikit-learn – der beliebtesten Bibliothek für ML – zu arbeiten und Ihr erstes Projekt im Bereich Machine Learning zu erstellen.
Dieser Kurs richtet sich an Studierende mit Grundkenntnissen in Python, Pandas und Numpy.

Erlernen der Konzepte des maschinellen Lernens und des Workflows von ML-Projekten.

Die Vorverarbeitung ist vermutlich die wichtigste Phase eines ML-Projekts. Dieses Kapitel behandelt die notwendigen Vorverarbeitungsschritte für nahezu jedes Datenset.

Eine Pipeline ist eine elegante Methode, um alle Vorverarbeitungsschritte sowie ein Modell zu kombinieren. Pipelines erleichtern das Trainieren und die Nutzung eines Modells erheblich.

Die Modellierung ist die spannendste Phase eines ML-Projekts. Lernen Sie, das Modell zu erstellen, zu optimieren und zu evaluieren.

Modellierungszusammenfassung