Aufteilen der Daten

Nach dem Training eines neuronalen Netzes ist es entscheidend, die Leistung auf unbekannten Daten zu bewerten. Diese Bewertung zeigt, ob das Modell sinnvolle Muster gelernt hat oder lediglich die Trainingsbeispiele auswendig gelernt hat. Dazu wird der Datensatz in zwei Teile aufgeteilt:

• Trainingssatz — dient dazu, das neuronale Netz durch Anpassung der Gewichte und Biases mittels Backpropagation zu trainieren;
• Testsatz — wird nach dem Training verwendet, um zu bewerten, wie gut das Modell auf neue, unbekannte Daten generalisiert.

Eine übliche Aufteilung ist 80 % für das Training und 20 % für das Testen, wobei dieses Verhältnis je nach Größe und Komplexität des Datensatzes variieren kann.

Die Aufteilung der Daten erfolgt typischerweise mit der Funktion train_test_split() aus dem Modul sklearn.model_selection:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=...)

Der Parameter test_size bestimmt den Anteil der Daten, der für das Testen reserviert wird. Beispielsweise bedeutet test_size=0.1, dass 10 % der Daten für das Testen und 90 % für das Training verwendet werden.

Erzielt das Modell auf dem Trainingssatz gute, aber auf dem Testsatz schlechte Ergebnisse, liegt möglicherweise ein Overfitting vor — das Modell lernt Muster, die zu spezifisch für die Trainingsdaten sind, anstatt auf neue Beispiele zu generalisieren. Ziel ist es, gute Leistung auf beiden Datensätzen zu erreichen, damit das Modell gut generalisiert.

Nach der Aufteilung der Daten und dem Training des Modells sollte die Leistung mit geeigneten Bewertungsmetriken gemessen werden, die von der jeweiligen Klassifikationsaufgabe abhängen.

Klassifikationsmetriken

Für Klassifikationsprobleme können verschiedene wichtige Metriken zur Bewertung der Modellvorhersagen verwendet werden:

• Genauigkeit;
• Präzision;
• Recall (Sensitivität);
• F1-Score.

Da ein Perzeptron eine binäre Klassifikation durchführt, hilft die Erstellung einer Konfusionsmatrix, diese Metriken besser zu verstehen.

Genauigkeit misst den Anteil der korrekt klassifizierten Beispiele an der Gesamtzahl. Wenn ein Modell 90 von 100 Bildern korrekt klassifiziert, beträgt die Genauigkeit 90%.

Obwohl die Genauigkeit nützlich ist, liefert sie nicht immer ein vollständiges Bild—insbesondere bei unausgewogenen Datensätzen. In einem Datensatz, in dem 95% der Beispiele zu einer Klasse gehören, könnte ein Modell 95% Genauigkeit erreichen, indem es immer die Mehrheitsklasse vorhersagt—ohne tatsächlich etwas Nützliches zu lernen. In solchen Fällen sind Präzision, Recall oder der F1-Score oft aussagekräftiger.

Präzision ist der Prozentsatz der korrekt vorhergesagten positiven Fälle an allen vorhergesagten Positiven. Diese Kennzahl ist besonders relevant, wenn falsch-positive Ergebnisse kostspielig sind, wie etwa bei Spam-Erkennung oder Betrugserkennung.

Recall (Sensitivität) misst, wie viele der tatsächlich positiven Fälle vom Modell korrekt erkannt werden. Ein hoher Recall ist entscheidend in Situationen, in denen falsch-negative Ergebnisse minimiert werden müssen, wie beispielsweise bei medizinischen Diagnosen.

F1-Score ist das harmonische Mittel von Präzision und Recall und bietet eine ausgewogene Kennzahl, wenn sowohl falsch-positive als auch falsch-negative Ergebnisse relevant sind. Dies ist besonders nützlich bei unausgeglichenen Datensätzen, bei denen eine Klasse deutlich häufiger als die andere auftritt.