Summary  
This chapter explains how to tune model hyperparameters by combining cross-validation with GridSearchCV or RandomizedSearchCV in a workflow that splits data into training, validation, and test sets to optimize and evaluate machine learning pipelines.

General domain of usage  
Machine learning model evaluation and selection

Ora sai come costruire un **modello**, utilizzare le **pipeline** e ottimizzare gli **iperparametri**. Hai anche appreso due metodi di valutazione: suddivisione train-test e cross-validation.
Il passo successivo è combinare valutazione e ottimizzazione utilizzando `GridSearchCV` o `RandomizedSearchCV`.

Poiché il nostro dataset è molto piccolo, utilizzeremo il `GridSearchCV`, ma tutto ciò che segue si applica anche a un `RandomizedSearchCV`.

Nota

Poiché la cross-validation è più stabile rispetto a una singola suddivisione train-test, l'obiettivo è ottenere il **punteggio di cross-validation più alto**.
`GridSearchCV` esplora gli iperparametri e trova quelli che massimizzano questo punteggio. Il punteggio migliore viene memorizzato in `.best_score_`.

Gli iperparametri che funzionano meglio per un dataset potrebbero **non generalizzare** quando arrivano nuovi dati.
Pertanto, `.best_score_` può essere superiore rispetto alle prestazioni del modello su dati **completamente nuovi**.

Flusso di lavoro comune: suddivisione in set di addestramento e di test; esecuzione della cross-validation sul **set di addestramento** per ottimizzare il modello; successiva valutazione del modello ottimizzato sul **set di test** per misurare le prestazioni nel mondo reale.

Per riassumere:

1. Pre-elaborazione dei dati;
2. Suddivisione in set di addestramento e di test;
3. Utilizzo della cross-validazione sul set di addestramento per trovare la configurazione migliore;
4. Valutazione sul set di test.

Il terzo passaggio di solito prevede il test di **molteplici algoritmi** e la regolazione dei loro iperparametri per identificare l'opzione migliore. Per semplicità, in questo corso è stato utilizzato un solo algoritmo.


Approfondimento

La cross-validazione non è sempre l'opzione migliore. Per dataset di grandi dimensioni, il calcolo dei punteggi CV diventa oneroso, mentre una suddivisione train-test risulta più stabile grazie all'ampio set di test.

I grandi dataset vengono spesso suddivisi in **training**, **validation** e **test** set.
Gli iperparametri vengono scelti in base alle prestazioni sul **validation set**.
Infine, il modello selezionato viene valutato sul **test set** per verificare quanto bene generalizza.

Il **penguins dataset** è di piccole dimensioni, con solo 342 istanze. A causa di questa dimensione limitata, nel prossimo capitolo verrà utilizzato il punteggio di cross-validation per la valutazione.


Perché la cross-validation è particolarmente preziosa per l'ottimizzazione degli iperparametri in set di dati di piccole dimensioni, mentre nei set di dati più grandi si preferisce spesso la suddivisione train-test?

L'apprendimento automatico è ormai utilizzato ovunque. Vuoi impararlo anche tu? Questo corso è un'introduzione al mondo del machine learning per apprendere i concetti di base, lavorare con scikit-learn – la libreria più popolare per ML – e realizzare il tuo primo progetto di machine learning.
Questo corso è rivolto a studenti con conoscenze di base di Python, Pandas e Numpy.

Apprendere i concetti di Machine Learning e il flusso di lavoro di un progetto ML.

Il preprocessing è probabilmente la fase più importante di un progetto di ML. Questo capitolo tratta le fasi di preprocessing necessarie per quasi qualsiasi dataset.

Una pipeline è un modo ordinato per combinare tutti i passaggi di pre-elaborazione insieme a un modello. Le pipeline rendono molto più semplice addestrare e utilizzare un modello.

La modellazione è la fase più interessante di un progetto di ML. Impariamo a costruire, ottimizzare e valutare il modello!

Riepilogo della Modellazione