Summary  
This chapter explains how to apply k-Nearest Neighbors using multiple features by scaling each feature (e.g., with StandardScaler) so that distance calculations reflect all features equally, and describes how the neighborhood generalizes to spheres in higher dimensions.

General domain of usage  
Supervised classification tasks

Ora hai compreso come funziona **k-NN** con una singola caratteristica. Passiamo a un esempio leggermente più complesso che utilizza due caratteristiche: **weight** e **width**.

In questo caso, è necessario trovare i vicini in base a **sia width che weight**. Tuttavia, c'è un piccolo problema. Tracciamo i dolci e vediamo cosa non funziona:

Si può notare che il weight varia da **12** a **64**, mentre il width è solo tra **5** e **12**. Poiché l'intervallo di width è molto più piccolo, i dolci appaiono quasi allineati verticalmente. Se ora calcoliamo le distanze, rifletteranno principalmente le **differenze di weight**, come se non avessimo mai considerato width.

Esiste però una soluzione: **scalare i dati**.

Ora, sia il peso che la larghezza sono sulla stessa scala e **centrati intorno a zero**. Questo può essere ottenuto tramite la classe `StandardScaler` di `sklearn`. `StandardScaler` sottrae semplicemente la **media del campione** e poi divide il risultato per la **deviazione standard del campione**:
$$
X_{scaled} = \frac{X - \bar x}{s}
$$


`StandardScaler` centra i dati intorno allo **zero**. Sebbene il centraggio **non sia obbligatorio** per k-NN e possa generare confusione, come ad esempio "come può il peso essere negativo", è semplicemente un modo per presentare i dati a un computer. Alcuni modelli richiedono il **centraggio**, quindi utilizzare `StandardScaler` per la scalatura di default è consigliabile.

In realtà, è **sempre** opportuno scalare i dati prima di utilizzare k-Nearest Neighbors. Con i dati scalati, ora possiamo trovare i vicini:

Nel caso di due caratteristiche, k-NN definisce un **vicinato circolare** che contiene il numero desiderato di vicini. Con tre caratteristiche, questo diventa una **sfera**. In dimensioni superiori, il vicinato assume una forma più complessa che non può essere visualizzata, ma i **calcoli sottostanti rimangono invariati**.

Apprendi i principali algoritmi di classificazione che alimentano il machine learning moderno. Esplora come modelli come k-NN, regressione logistica, alberi decisionali e foreste casuali effettuano previsioni, valuta la loro accuratezza e comprendi quando utilizzare ciascuno di essi. Sviluppa le competenze per confrontare i modelli e scegliere il più adatto ai tuoi dati.

Scopri come l'algoritmo dei k-nearest neighbors effettua previsioni basate sulla similarità. Impara a gestire più caratteristiche, ottimizzare i parametri e applicare la cross-validazione per migliorare l'accuratezza.

Comprendere come la regressione logistica modella le probabilità e classifica gli esiti. Esercitarsi nell'implementazione, nell'interpretazione delle frontiere di decisione e nell'applicazione della regolarizzazione per prevenire l'overfitting.

Scopri come gli alberi decisionali suddividono i dati in gruppi significativi in base ai valori delle caratteristiche. Esplora come parametri quali la profondità dell'albero e il numero minimo di campioni per foglia influenzano le prestazioni e la generalizzazione del modello.

Esplora come le random forest combinano più alberi decisionali per migliorare accuratezza e robustezza. Comprendi il ruolo della casualità e applica questo metodo ensemble a dati reali.

Valutazione dei modelli utilizzando metriche come accuratezza, precisione, richiamo e F1-score. Interpretazione delle matrici di confusione e confronto tra più classificatori per identificare il modello con le migliori prestazioni.

K-NN con Più Caratteristiche