Impara Suddivisione Train-Test e Validazione Incrociata

Scorri per mostrare il menu

Nei capitoli precedenti, abbiamo costruito i modelli e previsto nuovi valori. Tuttavia, non abbiamo idea di quanto bene il modello funzioni e se tali previsioni siano affidabili.

Suddivisione train-test

Per misurare le prestazioni del modello, è necessario un sottoinsieme di dati etichettati che il modello non ha mai visto. Pertanto, suddividiamo casualmente tutti i dati etichettati in training set e test set.

Questo è possibile utilizzando la funzione train_test_split() di sklearn.

Di solito, il modello viene suddiviso con circa 70-90% per il set di addestramento e 10-30% per il set di test.

Nota

Quando il tuo dataset contiene milioni di istanze, utilizzare solo alcune migliaia per il test è solitamente più che sufficiente. In questi casi, puoi riservare anche meno del 10% dei dati per il test.

Ora è possibile addestrare il modello utilizzando il set di addestramento e valutarne l'accuratezza sul set di test.


              123456789101112131415161718192021
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import train_test_split

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

# Splitting the data
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

knn = KNeighborsClassifier(n_neighbors=3).fit(X_train, y_train)

# Printing the accuracy on the test set
print(knn.score(X_test, y_test))

Ma questo approccio presenta alcune criticità:

Non utilizziamo tutti i dati disponibili per l'addestramento, il che potrebbe migliorare il nostro modello;
Poiché valutiamo l'accuratezza del modello su una piccola porzione di dati (set di test), questo punteggio di accuratezza può essere inaffidabile su dataset di piccole dimensioni. È possibile eseguire il codice sopra più volte e osservare come l'accuratezza cambi ogni volta che viene campionato un nuovo set di test.

Cross-Validation

La cross-validation è progettata per affrontare il problema dell'overfitting e garantire che il modello possa generalizzare bene su nuovi dati non visti. Si può pensare a questa tecnica come a un addestramento in aula per il modello — aiuta il modello ad apprendere in modo più equilibrato prima di affrontare il vero test finale.

L'idea è di mescolare l'intero dataset e suddividerlo in n parti uguali, chiamate fold. Successivamente, il modello esegue n iterazioni. In ogni iterazione, n-1 fold vengono utilizzati per l'addestramento e 1 fold viene utilizzato per la validazione. In questo modo, ogni parte dei dati viene utilizzata una volta per la validazione e si ottiene una stima più affidabile delle prestazioni del modello.

Ricorda che la cross-validation non sostituisce il set di test. Dopo aver utilizzato la cross-validation per scegliere e ottimizzare il modello, è necessario valutarlo su un set di test separato per ottenere una valutazione imparziale delle sue prestazioni nel mondo reale.

Nota

Una scelta comune per il numero di fold è 5. In tal caso, un fold verrà utilizzato come set di test e i restanti 4 fold verranno utilizzati per l'addestramento.

Addestramento di cinque modelli con sottoinsiemi leggermente diversi. Per ciascun modello, calcolo della precisione sul set di test:

\text{accuracy} = \frac{\text{predicted correctly}}{\text{predicted correctly} + \text{predicted incorrectly}}

Dopo questa operazione, calcolo della media di questi 5 punteggi di accuratezza, che rappresenta il punteggio di accuratezza della cross-validation:

\text{accuracy}_{avg} = \frac{\text{accuracy}_1+\text{accuracy}_2+...+\text{accuracy}_5}{5}

È più affidabile perché abbiamo calcolato il punteggio di accuratezza utilizzando tutti i nostri dati - semplicemente suddivisi in modo diverso in cinque iterazioni.

Ora che sappiamo quanto bene si comporta il modello, possiamo riaddestrarlo utilizzando l'intero dataset.

Fortunatamente, sklearn fornisce la funzione cross_val_score() per valutare il modello utilizzando la validazione incrociata, così non è necessario implementarla manualmente:

Ecco un esempio di come utilizzare la validazione incrociata con un modello k-NN addestrato sul dataset delle valutazioni di Star Wars:


              12345678910111213141516171819
            
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
from sklearn.model_selection import cross_val_score

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b71ff7ac-3932-41d2-a4d8-060e24b00129/starwars_binary.csv')

X = df.drop('StarWars6', axis=1)
y = df['StarWars6']

scaler = StandardScaler()
X = scaler.fit_transform(X)

knn = KNeighborsClassifier(n_neighbors=3)

# Calculating the accuracy for each split
scores = cross_val_score(knn, X, y, cv=5)
print('Scores: ', scores)
print('Average score:', scores.mean())

Il punteggio utilizzato di default per la classificazione è accuracy.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 1. Capitolo 6

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

Sezione 1. Capitolo 6