Summary  
This chapter explains how to apply k-Nearest Neighbors using multiple features by scaling each feature (e.g., with StandardScaler) so that distance calculations reflect all features equally, and describes how the neighborhood generalizes to spheres in higher dimensions.

General domain of usage  
Supervised classification tasks

Du verstehst nun, wie **k-NN** mit einem einzelnen Merkmal funktioniert. Gehen wir zu einem etwas komplexeren Beispiel über, das zwei Merkmale verwendet: **Gewicht** und **Breite**.

In diesem Fall müssen Nachbarn basierend auf **sowohl Breite als auch Gewicht** gefunden werden. Dabei gibt es jedoch ein kleines Problem. Schauen wir uns die Süßigkeiten in einem Diagramm an und sehen, was schief läuft:

Man sieht, dass das Gewicht von **12** bis **64** reicht, während die Breite nur zwischen **5** und **12** liegt. Da der Wertebereich der Breite viel kleiner ist, erscheinen die Süßigkeiten fast vertikal ausgerichtet. Wenn wir jetzt die Abstände berechnen, spiegeln sie hauptsächlich **Unterschiede im Gewicht** wider, als ob die Breite gar nicht berücksichtigt würde.

Es gibt jedoch eine Lösung – **Skalierung der Daten**.

Nun sind sowohl Gewicht als auch Breite auf derselben Skala und **um null zentriert**. Dies kann mit der Klasse `StandardScaler` aus `sklearn` erreicht werden. `StandardScaler` zieht einfach den **Mittelwert der Stichprobe** ab und teilt das Ergebnis anschließend durch die **Standardabweichung der Stichprobe**:
$$
X_{scaled} = \frac{X - \bar x}{s}
$$


`StandardScaler` zentriert die Daten um **null**. Obwohl das Zentrieren für k-NN **nicht zwingend erforderlich** ist und zu Verwirrung führen kann, etwa "wie kann Gewicht negativ sein", ist es lediglich eine Methode, Daten für den Computer aufzubereiten. Einige Modelle erfordern eine **Zentrierung**, daher ist es ratsam, `StandardScaler` standardmäßig für das Skalieren zu verwenden.

Tatsächlich sollten die Daten **immer** vor der Verwendung von k-Nearest Neighbors skaliert werden. Mit den skalierten Daten können wir nun die Nachbarn bestimmen:

Im Fall von zwei Merkmalen definiert k-NN eine **kreisförmige Nachbarschaft**, die die gewünschte Anzahl von Nachbarn enthält. Bei drei Merkmalen wird daraus eine **Kugel**. In höheren Dimensionen nimmt die Nachbarschaft eine komplexere, nicht visualisierbare Form an, jedoch **bleiben die zugrunde liegenden Berechnungen unverändert**.

Beherrschen Sie die grundlegenden Klassifikationsalgorithmen, die moderne Machine-Learning-Anwendungen antreiben. Erforschen Sie, wie Modelle wie k-NN, logistische Regression, Entscheidungsbäume und Random Forests Vorhersagen treffen, deren Genauigkeit bewerten und verstehen, wann welches Modell eingesetzt wird. Entwickeln Sie die Fähigkeiten, Modelle zu vergleichen und das beste für Ihre Daten auszuwählen.

Erfahren Sie, wie der k-nächste-Nachbarn-Algorithmus Vorhersagen auf Basis von Ähnlichkeiten trifft. Umgang mit mehreren Merkmalen, Parametereinstellung und Anwendung von Kreuzvalidierung zur Verbesserung der Genauigkeit.

Verstehen, wie die logistische Regression Wahrscheinlichkeiten modelliert und Ergebnisse klassifiziert. Anwendung der Implementierung, Interpretation von Entscheidungsgrenzen und Einsatz von Regularisierung zur Vermeidung von Overfitting.

Erfahren Sie, wie Entscheidungsbäume Daten anhand von Merkmalswerten in sinnvolle Gruppen unterteilen. Untersuchen Sie, wie Parameter wie Baumtiefe und minimale Stichprobengröße pro Blatt die Modellleistung und Generalisierung beeinflussen.

Erkunden, wie Random Forests mehrere Entscheidungsbäume kombinieren, um Genauigkeit und Robustheit zu verbessern.
Die Rolle des Zufalls verstehen und diese Ensemble-Methode auf reale Daten anwenden.

Bewertung von Modellen anhand von Metriken wie Genauigkeit, Präzision, Recall und F1-Score. Interpretation von Konfusionsmatrizen und Vergleich mehrerer Klassifikatoren zur Identifikation des leistungsstärksten Modells.

K-NN mit mehreren Merkmalen