Summary  
This chapter explains how to apply k-Nearest Neighbors using multiple features by scaling each feature (e.g., with StandardScaler) so that distance calculations reflect all features equally, and describes how the neighborhood generalizes to spheres in higher dimensions.

General domain of usage  
Supervised classification tasks

Vous comprenez maintenant comment fonctionne le **k-NN** avec une seule caractéristique. Passons à un exemple légèrement plus complexe utilisant deux caractéristiques : **weight** et **width**.

Dans ce cas, il faut trouver les voisins en fonction de **width et weight**. Mais cela pose un petit problème. Observons la répartition des bonbons pour comprendre ce qui ne va pas :

Vous pouvez constater que la valeur de weight varie de **12** à **64**, tandis que celle de width se situe seulement entre **5** et **12**. Comme l'intervalle de width est beaucoup plus petit, les bonbons semblent presque alignés verticalement. Si l'on calcule les distances maintenant, elles refléteront principalement les **différences de weight**, comme si width n'était jamais pris en compte.

Il existe cependant une solution : **la mise à l'échelle des données**.

Désormais, le poids et la largeur sont sur la même échelle et **centrés autour de zéro**. Cela peut être réalisé grâce à la classe `StandardScaler` de `sklearn`. `StandardScaler` soustrait simplement la **moyenne de l'échantillon** puis divise le résultat par l'**écart type de l'échantillon** :
$$
X_{scaled} = \frac{X - \bar x}{s}
$$


`StandardScaler` centre les données autour de **zéro**. Bien que le centrage ne soit **pas obligatoire** pour k-NN et puisse prêter à confusion, par exemple « comment le poids peut-il être négatif », il s'agit simplement d'une manière de présenter les données à un ordinateur. Certains modèles nécessitent un **centrage**, il est donc conseillé d'utiliser `StandardScaler` par défaut pour la mise à l'échelle.

En réalité, il faut **toujours** mettre les données à l'échelle avant d'utiliser k-Nearest Neighbors. Avec les données mises à l'échelle, nous pouvons maintenant rechercher les voisins :

Dans le cas de deux caractéristiques, k-NN définit un **voisinage circulaire** contenant le nombre souhaité de voisins. Avec trois caractéristiques, cela devient une **sphère**. Dans des dimensions supérieures, le voisinage prend une forme plus complexe qui ne peut pas être visualisée, mais les **calculs sous-jacents restent inchangés**.

Maîtrisez les principaux algorithmes de classification qui alimentent l'apprentissage automatique moderne. Découvrez comment des modèles tels que k-NN, la régression logistique, les arbres de décision et les forêts aléatoires effectuent des prédictions, évaluez leur précision et comprenez quand utiliser chacun d'eux. Développez les compétences nécessaires pour comparer les modèles et choisir le plus adapté à vos données.

Découvrez comment l'algorithme des k plus proches voisins effectue des prédictions basées sur la similarité. Apprenez à gérer plusieurs caractéristiques, à ajuster les paramètres et à appliquer la validation croisée pour améliorer la précision.

Comprendre comment la régression logistique modélise les probabilités et classe les résultats. S'exercer à l'implémenter, à interpréter les frontières de décision et à appliquer la régularisation pour éviter le surapprentissage.

Découvrez comment les arbres de décision divisent les données en groupes significatifs selon les valeurs des caractéristiques. Explorez l'influence de paramètres tels que la profondeur de l'arbre et le nombre minimal d'échantillons par feuille sur la performance et la généralisation du modèle.

Découvrez comment les forêts aléatoires combinent plusieurs arbres de décision pour améliorer la précision et la robustesse. Comprenez le rôle de l'aléatoire et appliquez cette méthode d'ensemble à des données réelles.

Évaluation des modèles à l'aide de métriques telles que l'exactitude, la précision, le rappel et le score F1. Interprétation des matrices de confusion et comparaison de plusieurs classificateurs afin d'identifier le modèle le plus performant.

K-NN Avec Plusieurs Caractéristiques