Aufteilen der Daten

Nach dem Training eines neuronalen Netzes ist es entscheidend, die Leistung auf unbekannten Daten zu bewerten. Diese Bewertung zeigt, ob das Modell sinnvolle Muster erkannt oder lediglich die Trainingsbeispiele auswendig gelernt hat. Dazu wird der Datensatz in zwei Teile aufgeteilt:

• Trainingssatz — dient zum Trainieren des neuronalen Netzes durch Anpassung der Gewichte und Biases mittels Backpropagation;
• Testsatz — wird nach dem Training verwendet, um zu bewerten, wie gut das Modell auf neue, unbekannte Daten generalisiert.

Eine übliche Aufteilung ist 80 % für das Training und 20 % für das Testen, wobei dieses Verhältnis je nach Größe und Komplexität des Datensatzes variieren kann.

Die Aufteilung der Daten erfolgt typischerweise mit der Funktion train_test_split() aus dem Modul sklearn.model_selection:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=...)

Der Parameter test_size bestimmt den Anteil der Daten, der für das Testen reserviert wird. Beispielsweise bedeutet test_size=0.1, dass 10 % der Daten für das Testen und 90 % für das Training verwendet werden.

Erzielt das Modell gute Ergebnisse auf dem Trainingssatz, aber schlechte auf dem Testsatz, liegt möglicherweise ein Overfitting vor — das Modell lernt Muster, die zu spezifisch für die Trainingsdaten sind, anstatt auf neue Beispiele zu generalisieren. Ziel ist eine gute Leistung auf beiden Datensätzen, um eine solide Generalisierung sicherzustellen.

Nach der Aufteilung der Daten und dem Training des Modells sollte die Leistung mit geeigneten Bewertungsmetriken gemessen werden, die von der jeweiligen Klassifikationsaufgabe abhängen.

Klassifikationsmetriken

Für Klassifikationsprobleme können verschiedene wichtige Metriken zur Bewertung der Modellvorhersagen verwendet werden:

• Genauigkeit;
• Präzision;
• Recall (Sensitivität);
• F1-Score.

Da ein Perzeptron eine binäre Klassifikation durchführt, hilft die Erstellung einer Konfusionsmatrix, diese Metriken besser zu verstehen.

Genauigkeit misst den Anteil der korrekt klassifizierten Beispiele an der Gesamtzahl. Wenn ein Modell 90 von 100 Bildern korrekt klassifiziert, beträgt die Genauigkeit 90%.

Obwohl die Genauigkeit nützlich ist, liefert sie nicht immer ein vollständiges Bild—insbesondere bei unausgeglichenen Datensätzen. In einem Datensatz, in dem 95% der Beispiele zu einer Klasse gehören, könnte ein Modell eine Genauigkeit von 95% erreichen, indem es immer die Mehrheitsklasse vorhersagt—ohne tatsächlich etwas Nützliches zu lernen. In solchen Fällen sind Präzision, Recall oder der F1-Score oft aussagekräftiger.

Präzision ist der Prozentsatz der korrekt vorhergesagten positiven Fälle an allen vorhergesagten Positiven. Diese Kennzahl ist besonders nützlich, wenn falsch-positive Ergebnisse kostspielig sind, wie etwa bei Spam- oder Betrugserkennung.

Recall (Sensitivität) misst, wie viele der tatsächlich positiven Fälle vom Modell korrekt erkannt werden. Ein hoher Recall ist in Szenarien wichtig, in denen falsch-negative Ergebnisse minimiert werden müssen, wie etwa bei medizinischen Diagnosen.

F1-Score ist das harmonische Mittel von Präzision und Recall und bietet eine ausgewogene Kennzahl, wenn sowohl falsch-positive als auch falsch-negative Ergebnisse relevant sind. Dies ist besonders nützlich bei unausgeglichenen Datensätzen, bei denen eine Klasse deutlich häufiger als die andere auftritt.