Summary  
This chapter covers hyperparameter search strategies for k-nearest neighbors, explaining how GridSearchCV exhaustively tests all combinations of n_neighbors, weights, and p parameters (leading to high computational cost) and how RandomizedSearchCV can sample combinations more efficiently.

General domain of usage  
Hyperparameter optimization in machine learning

Prima di utilizzare `GridSearchCV`, è importante notare che `KNeighborsClassifier` ha più iperparametri oltre a `n_neighbors`. Due tra i più importanti sono `weights` e `p`.

## Pesi

Per impostazione predefinita, il classificatore utilizza `weights='uniform'`, il che significa che tutti i *k* vicini votano in modo uguale.
Impostando `weights='distance'` si attribuisce **maggiore influenza ai vicini più prossimi**, migliorando spesso le previsioni quando i punti vicini sono più rilevanti.

## P

Il parametro `p` controlla la metrica di distanza:

* `p=1`: **Distanza di Manhattan**;
* `p=2`: **Distanza euclidea**.

Un parametro `p` può assumere **qualsiasi intero positivo**. Esistono molte distanze diverse, ma sono più difficili da visualizzare rispetto a `p=1` o `p=2`.

Non preoccuparti se i dettagli di `weights` o `p` non sono chiari. Sono introdotti semplicemente per mostrare che ci sono **più iperparametri che possono influenzare le predizioni del modello**. Considerali come esempi di iperparametri che possono essere ottimizzati.


Nota

In precedenza, veniva ottimizzato solo `n_neighbors`. Per effettuare la ricerca su tutti e tre gli iperparametri, utilizzare:

```python
param_grid = {
    'n_neighbors': [1, 3, 5, 7],
    'weights': ['distance', 'uniform'],
    'p': [1, 2]
}
```

`GridSearchCV` prova **tutte le possibili combinazioni** per trovare la migliore, quindi proverà tutte queste:

Una griglia più ampia come:

```python
param_grid = {
    'n_neighbors': [...],
    'weights': ['distance', 'uniform'],
    'p': [1, 2, 3, 4, 5]
}
```

crea 100 combinazioni. Con una cross-validation a 5 fold, il modello viene addestrato **500 volte**.
Questo va bene per dataset piccoli, ma per quelli più grandi diventa troppo lento.

Per ridurre il tempo di calcolo, **`RandomizedSearchCV`** testa solo un **sottoinsieme casuale** delle combinazioni, trovando solitamente risultati validi molto più rapidamente rispetto a una ricerca a griglia completa.

Il principale problema di `GridSearchCV` è che prova tutte le possibili combinazioni (di quelle specificate in `param_grid`), il che può richiedere molto tempo. Questa affermazione è corretta?

L'apprendimento automatico è ormai utilizzato ovunque. Vuoi impararlo anche tu? Questo corso è un'introduzione al mondo del machine learning per apprendere i concetti di base, lavorare con scikit-learn – la libreria più popolare per ML – e realizzare il tuo primo progetto di machine learning.
Questo corso è rivolto a studenti con conoscenze di base di Python, Pandas e Numpy.

Apprendere i concetti di Machine Learning e il flusso di lavoro di un progetto ML.

Il preprocessing è probabilmente la fase più importante di un progetto di ML. Questo capitolo tratta le fasi di preprocessing necessarie per quasi qualsiasi dataset.

Una pipeline è un modo ordinato per combinare tutti i passaggi di pre-elaborazione insieme a un modello. Le pipeline rendono molto più semplice addestrare e utilizzare un modello.

La modellazione è la fase più interessante di un progetto di ML. Impariamo a costruire, ottimizzare e valutare il modello!

La Falla di GridSearchCV

Pesi

P