Summary  
The chapter explains the k-Nearest Neighbors algorithm, which classifies a new instance by finding its k closest labeled neighbors in feature space and assigning the most frequent class among them.

General domain of usage  
Binary classification of sweets (cookies vs. non-cookies) based on weight.

Beginnen wir unser Klassifikationsabenteuer mit der einfachsten Aufgabe – **binäre Klassifikation**. Angenommen, wir möchten Süßigkeiten als Kekse/Nicht-Kekse klassifizieren, basierend auf einem **einzigen Merkmal**: ihrem Gewicht.

Eine einfache Methode zur Vorhersage der Klasse einer neuen Instanz besteht darin, ihren **nächsten Nachbarn** zu betrachten. In unserem Beispiel müssen wir eine Süßigkeit finden, deren Gewicht dem der neuen Instanz am ähnlichsten ist.

Das ist die Grundidee hinter **k-Nearest Neighbors** (**k-NN**) – es werden lediglich die Nachbarn betrachtet.
Der k-NN-Algorithmus geht davon aus, dass ähnliche Dinge in **enger Nachbarschaft** existieren. Anders ausgedrückt: Ähnliche Dinge befinden sich nahe beieinander. Das **k** in k-NN steht für die Anzahl der Nachbarn, die bei einer Vorhersage berücksichtigt werden.

Im obigen Beispiel wurde nur **1** Nachbar betrachtet, daher handelt es sich um 1-Nearest Neighbor. In der Regel wird k jedoch auf eine größere Zahl gesetzt, da die Betrachtung nur eines Nachbarn **unzuverlässig** sein kann:

Wenn **k** (Anzahl der Nachbarn) größer als eins ist, wird die **häufigste Klasse** in der Nachbarschaft als Vorhersage gewählt. Hier ein Beispiel für die Vorhersage von zwei neuen Instanzen mit **k=3**:

Wie Sie sehen, kann eine Änderung von **k** zu unterschiedlichen Vorhersagen führen.

Gelegentlich erzeugt k-NN ein **Unentschieden**, wenn mehrere Klassen gleichermaßen unter den nächsten Nachbarn vertreten sind. Die meisten Bibliotheken, einschließlich scikit-learn, lösen Unentschieden auf, indem sie **die erste Klasse** in ihrer internen Reihenfolge auswählen – ein Aspekt, den man beachten sollte, da dies die Reproduzierbarkeit und Interpretation subtil beeinflussen kann.

Hinweis

Wie wird im k-Nearest-Neighbors-Algorithmus die Klasse einer neuen Instanz vorhergesagt, wenn k > 1?

Beherrschen Sie die grundlegenden Klassifikationsalgorithmen, die moderne Machine-Learning-Anwendungen antreiben. Erforschen Sie, wie Modelle wie k-NN, logistische Regression, Entscheidungsbäume und Random Forests Vorhersagen treffen, deren Genauigkeit bewerten und verstehen, wann welches Modell eingesetzt wird. Entwickeln Sie die Fähigkeiten, Modelle zu vergleichen und das beste für Ihre Daten auszuwählen.

Erfahren Sie, wie der k-nächste-Nachbarn-Algorithmus Vorhersagen auf Basis von Ähnlichkeiten trifft. Umgang mit mehreren Merkmalen, Parametereinstellung und Anwendung von Kreuzvalidierung zur Verbesserung der Genauigkeit.

Verstehen, wie die logistische Regression Wahrscheinlichkeiten modelliert und Ergebnisse klassifiziert. Anwendung der Implementierung, Interpretation von Entscheidungsgrenzen und Einsatz von Regularisierung zur Vermeidung von Overfitting.

Erfahren Sie, wie Entscheidungsbäume Daten anhand von Merkmalswerten in sinnvolle Gruppen unterteilen. Untersuchen Sie, wie Parameter wie Baumtiefe und minimale Stichprobengröße pro Blatt die Modellleistung und Generalisierung beeinflussen.

Erkunden, wie Random Forests mehrere Entscheidungsbäume kombinieren, um Genauigkeit und Robustheit zu verbessern.
Die Rolle des Zufalls verstehen und diese Ensemble-Methode auf reale Daten anwenden.

Bewertung von Modellen anhand von Metriken wie Genauigkeit, Präzision, Recall und F1-Score. Interpretation von Konfusionsmatrizen und Vergleich mehrerer Klassifikatoren zur Identifikation des leistungsstärksten Modells.

Was ist K-NN