Lernen Train-Test-Split und Kreuzvalidierung

In den vorherigen Kapiteln wurden die Modelle erstellt und neue Werte vorhergesagt. Allerdings ist unklar, wie gut das Modell tatsächlich arbeitet und ob diese Vorhersagen verlässlich sind.

Train-Test-Split

Um die Leistungsfähigkeit des Modells zu messen, wird ein Teil der gelabelten Daten benötigt, den das Modell zuvor nicht gesehen hat. Daher werden alle gelabelten Daten zufällig in Trainingsmenge und Testmenge aufgeteilt.

Dies lässt sich mit der Funktion train_test_split() aus sklearn realisieren.

In der Regel wird das Modell zu 70-90 % für das Trainingsset und zu 10-30 % für das Testset aufgeteilt.

Hinweis

Wenn Ihr Datensatz Millionen von Instanzen enthält, reicht es in der Regel aus, nur einige Tausend für das Testen zu verwenden. In solchen Fällen kann sogar weniger als 10 % der Daten für das Testen reserviert werden.

Nun kann das Modell mit dem Trainingsset trainiert und seine Genauigkeit mit dem Testset bewertet werden.


              123456789101112131415161718192021
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

# Splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

knn = KNeighborsClassifier(n_neighbors=3).fit(X_train_scaled, y_train)

# Printing the accuracy on the test set
print(knn.score(X_test_scaled, y_test))

Dieses Vorgehen weist jedoch einige Schwächen auf:

Es wird nicht der gesamte verfügbare Datensatz für das Training verwendet, was das Modell verbessern könnte;
Da die Genauigkeit des Modells nur an einem kleinen Teil der Daten (Testmenge) bewertet wird, kann dieser Genauigkeitswert bei kleineren Datensätzen unzuverlässig sein. Der obige Code kann mehrfach ausgeführt werden, um zu beobachten, wie sich die Genauigkeit bei jeder neuen Stichprobe der Testmenge verändert.

Kreuzvalidierung

Kreuzvalidierung wurde entwickelt, um das Problem des Overfittings zu adressieren und sicherzustellen, dass das Modell gut auf neue, unbekannte Daten generalisieren kann. Sie kann als Klassenzimmertraining für das Modell betrachtet werden — sie unterstützt das Modell dabei, auf ausgewogenere Weise zu lernen, bevor es dem eigentlichen Abschlusstest begegnet.

Die Idee besteht darin, den gesamten Datensatz zu mischen und in n gleich große Teile, sogenannte Folds, zu unterteilen. Anschließend durchläuft das Modell n Iterationen. In jeder Iteration werden n-1 Folds für das Training und 1 Fold für die Validierung verwendet. So wird jeder Teil der Daten einmal zur Validierung genutzt und es entsteht eine zuverlässigere Schätzung der Modellleistung.

Zu beachten ist, dass Kreuzvalidierung den Testdatensatz nicht ersetzt. Nachdem mithilfe der Kreuzvalidierung das Modell ausgewählt und optimiert wurde, sollte es auf einem separaten Testdatensatz bewertet werden, um eine objektive Einschätzung der tatsächlichen Leistungsfähigkeit zu erhalten.

Hinweis

Eine gängige Wahl für die Anzahl der Faltungen ist 5. In diesem Fall wird eine Faltung als Testmenge verwendet und die verbleibenden 4 Faltungen dienen dem Training.

Es werden fünf Modelle mit leicht unterschiedlichen Teilmengen trainiert. Für jedes Modell wird die Testgenauigkeit berechnet:

\text{accuracy} = \frac{\text{predicted correctly}}{\text{predicted correctly} + \text{predicted incorrectly}}

Nachdem dies durchgeführt wurde, kann der Durchschnitt dieser 5 Genauigkeitswerte berechnet werden, welcher als Kreuzvalidierungsgenauigkeit dient:

\text{accuracy}_{avg} = \frac{\text{accuracy}_1+\text{accuracy}_2+...+\text{accuracy}_5}{5}

Dies ist zuverlässiger, da wir die Genauigkeit mit allen unseren Daten berechnet haben – lediglich in fünf Iterationen unterschiedlich aufgeteilt.

Nachdem wir nun wissen, wie gut das Modell abschneidet, können wir es mit dem gesamten Datensatz erneut trainieren.

Glücklicherweise stellt sklearn die Funktion cross_val_score() zur Verfügung, um das Modell mithilfe von Cross-Validation zu bewerten, sodass Sie dies nicht selbst implementieren müssen:

Hier ist ein Beispiel, wie Cross-Validation mit einem k-NN-Modell durchgeführt wird, das auf dem Star Wars-Bewertungsdatensatz trainiert wurde:


              12345678910111213141516171819
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import cross_val_score

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

scaler = StandardScaler()
X = scaler.fit_transform(X)

knn = KNeighborsClassifier(n_neighbors=3)

# Calculating the accuracy for each split
scores = cross_val_score(knn, X, y, cv=5)
print('Scores: ', scores)
print('Average score:', scores.mean())

Die standardmäßig für die Klassifikation verwendete Kennzahl ist Genauigkeit.

War alles klar?

Danke für Ihr Feedback!

Abschnitt 1. Kapitel 6

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Awesome!

Completion rate improved to 4.17

Swipe um das Menü anzuzeigen

In den vorherigen Kapiteln wurden die Modelle erstellt und neue Werte vorhergesagt. Allerdings ist unklar, wie gut das Modell tatsächlich arbeitet und ob diese Vorhersagen verlässlich sind.

Train-Test-Split

Dies lässt sich mit der Funktion train_test_split() aus sklearn realisieren.

In der Regel wird das Modell zu 70-90 % für das Trainingsset und zu 10-30 % für das Testset aufgeteilt.

Hinweis

Nun kann das Modell mit dem Trainingsset trainiert und seine Genauigkeit mit dem Testset bewertet werden.


              123456789101112131415161718192021
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

# Splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

knn = KNeighborsClassifier(n_neighbors=3).fit(X_train_scaled, y_train)

# Printing the accuracy on the test set
print(knn.score(X_test_scaled, y_test))

Dieses Vorgehen weist jedoch einige Schwächen auf:

Es wird nicht der gesamte verfügbare Datensatz für das Training verwendet, was das Modell verbessern könnte;
Da die Genauigkeit des Modells nur an einem kleinen Teil der Daten (Testmenge) bewertet wird, kann dieser Genauigkeitswert bei kleineren Datensätzen unzuverlässig sein. Der obige Code kann mehrfach ausgeführt werden, um zu beobachten, wie sich die Genauigkeit bei jeder neuen Stichprobe der Testmenge verändert.

Kreuzvalidierung

Hinweis

Eine gängige Wahl für die Anzahl der Faltungen ist 5. In diesem Fall wird eine Faltung als Testmenge verwendet und die verbleibenden 4 Faltungen dienen dem Training.

Es werden fünf Modelle mit leicht unterschiedlichen Teilmengen trainiert. Für jedes Modell wird die Testgenauigkeit berechnet:

\text{accuracy} = \frac{\text{predicted correctly}}{\text{predicted correctly} + \text{predicted incorrectly}}

Nachdem dies durchgeführt wurde, kann der Durchschnitt dieser 5 Genauigkeitswerte berechnet werden, welcher als Kreuzvalidierungsgenauigkeit dient:

\text{accuracy}_{avg} = \frac{\text{accuracy}_1+\text{accuracy}_2+...+\text{accuracy}_5}{5}

Dies ist zuverlässiger, da wir die Genauigkeit mit allen unseren Daten berechnet haben – lediglich in fünf Iterationen unterschiedlich aufgeteilt.

Nachdem wir nun wissen, wie gut das Modell abschneidet, können wir es mit dem gesamten Datensatz erneut trainieren.

Glücklicherweise stellt sklearn die Funktion cross_val_score() zur Verfügung, um das Modell mithilfe von Cross-Validation zu bewerten, sodass Sie dies nicht selbst implementieren müssen:

Hier ist ein Beispiel, wie Cross-Validation mit einem k-NN-Modell durchgeführt wird, das auf dem Star Wars-Bewertungsdatensatz trainiert wurde:


              12345678910111213141516171819
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import cross_val_score

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

scaler = StandardScaler()
X = scaler.fit_transform(X)

knn = KNeighborsClassifier(n_neighbors=3)

# Calculating the accuracy for each split
scores = cross_val_score(knn, X, y, cv=5)
print('Scores: ', scores)
print('Average score:', scores.mean())

Die standardmäßig für die Klassifikation verwendete Kennzahl ist Genauigkeit.

War alles klar?

Danke für Ihr Feedback!

Abschnitt 1. Kapitel 6