Aufteilen der Daten

Nach dem Training eines neuronalen Netzes muss dessen Leistung auf unbekannten Daten bewertet werden. Dies ermöglicht die Einschätzung, ob das Modell tatsächlich nützliche Muster gelernt hat oder lediglich die Trainingsdaten auswendig gelernt hat. Zu diesem Zweck wird der Datensatz in zwei Teile aufgeteilt:

• Trainingsmenge: Dieser Teil der Daten wird verwendet, um das neuronale Netz zu trainieren. Dabei werden Gewichte und Biases mittels Backpropagation angepasst;
• Testmenge: Nach dem Training wird das Modell auf diesem separaten Datensatz bewertet, um zu messen, wie gut es auf neue, unbekannte Beispiele generalisiert.

Eine typische Aufteilung ist 80% Training / 20% Test, wobei dies je nach Größe und Komplexität des Datensatzes variieren kann.

Das Aufteilen in Trainings- und Testdaten erfolgt üblicherweise mit der Funktion train_test_split() aus dem Modul sklearn.model_selection:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=...)

Der Parameter test_size gibt den Anteil des Datensatzes an, der als Testmenge verwendet wird. Beispielsweise bedeutet test_size=0.1, dass 10% der Daten für das Testen und die verbleibenden 90% für das Training genutzt werden.

Erzielt ein Modell auf den Trainingsdaten gute, auf den Testdaten jedoch schlechte Ergebnisse, liegt möglicherweise ein Overfitting vor. Das bedeutet, das Modell hat die Trainingsdaten auswendig gelernt, anstatt verallgemeinerbare Muster zu erkennen. Ziel ist es, eine hohe Testgenauigkeit bei guter Generalisierung zu erreichen.

Nach dem Training des Modells muss dessen Leistung mit Metriken quantifiziert werden. Die Wahl der Metrik hängt von der jeweiligen Klassifikationsaufgabe ab.

Klassifikationsmetriken

Für Klassifikationsprobleme können verschiedene wichtige Metriken zur Bewertung der Modellvorhersagen verwendet werden:

• Genauigkeit;
• Präzision;
• Recall (Sensitivität);
• F1-Score.

Da ein Perzeptron eine binäre Klassifikation durchführt, hilft die Erstellung einer Konfusionsmatrix, um diese Metriken besser zu verstehen.

Genauigkeit misst den Anteil der korrekt klassifizierten Beispiele an der Gesamtzahl. Wenn ein Modell 90 von 100 Bildern korrekt klassifiziert, beträgt die Genauigkeit 90%.

Obwohl die Genauigkeit nützlich ist, liefert sie nicht immer ein vollständiges Bild—insbesondere bei unausgewogenen Datensätzen. In einem Datensatz, in dem 95% der Beispiele zu einer Klasse gehören, könnte ein Modell 95% Genauigkeit erreichen, indem es immer die Mehrheitsklasse vorhersagt—ohne tatsächlich etwas Nützliches zu lernen. In solchen Fällen sind Präzision, Recall oder der F1-Score oft aussagekräftiger.

Präzision ist der Prozentsatz der korrekt vorhergesagten positiven Fälle an allen vorhergesagten Positiven. Diese Kennzahl ist besonders relevant, wenn falsch-positive Ergebnisse kostspielig sind, wie etwa bei Spam- oder Betrugserkennung.

Recall (Sensitivität) misst, wie viele der tatsächlich positiven Fälle vom Modell korrekt erkannt werden. Ein hoher Recall ist entscheidend in Situationen, in denen falsch-negative Ergebnisse minimiert werden müssen, wie beispielsweise bei medizinischen Diagnosen.

F1-Score ist das harmonische Mittel von Präzision und Recall und bietet eine ausgewogene Kennzahl, wenn sowohl falsch-positive als auch falsch-negative Ergebnisse relevant sind. Dies ist besonders nützlich bei unausgeglichenen Datensätzen, bei denen eine Klasse deutlich häufiger vorkommt als die andere.