Summary  
The chapter explains the k-Nearest Neighbors algorithm, which classifies a new instance by finding its k closest labeled neighbors in feature space and assigning the most frequent class among them.

General domain of usage  
Binary classification of sweets (cookies vs. non-cookies) based on weight.

We beginnen ons classificatie-avontuur met de eenvoudigste taak - **binaire classificatie**. Stel dat we snoepjes willen classificeren als koekjes/niet-koekjes op basis van één **enkele eigenschap**: hun gewicht.

Een eenvoudige manier om de klasse van een nieuw exemplaar te voorspellen is door te kijken naar de **dichtstbijzijnde buur**. In ons voorbeeld moeten we een snoepje vinden dat qua gewicht het meest lijkt op het nieuwe exemplaar.

Dat is het idee achter **k-Nearest Neighbors** (**k-NN**) - we kijken gewoon naar de buren.
Het k-NN-algoritme gaat ervan uit dat vergelijkbare dingen zich in **nabije nabijheid** bevinden. Met andere woorden, vergelijkbare dingen liggen dicht bij elkaar. **k** in k-NN staat voor het aantal buren dat we meenemen bij het doen van een voorspelling.

In het bovenstaande voorbeeld hebben we slechts naar **1** buur gekeken, dus dat was 1-Nearest Neighbor. Maar meestal wordt k op een groter getal gezet, omdat alleen naar één buur kijken **onbetrouwbaar** kan zijn:

Als **k** (het aantal buren) groter is dan één, kiezen we de **meest voorkomende klasse** in de buurt als voorspelling. Hier is een voorbeeld van het voorspellen van twee nieuwe instanties met **k=3**:

Zoals je kunt zien, kan het wijzigen van de **k** tot verschillende voorspellingen leiden.

Soms veroorzaakt k-NN een **gelijkspel** wanneer meerdere klassen even vaak voorkomen onder de dichtstbijzijnde buren. De meeste bibliotheken, waaronder scikit-learn, lossen gelijkspellen op door **de eerste klasse** in hun interne volgorde te kiezen – iets om rekening mee te houden, omdat dit subtiel invloed kan hebben op de reproduceerbaarheid en interpretatie.

Opmerking

Hoe wordt bij het k-Nearest Neighbors-algoritme de klasse van een nieuw voorbeeld voorspeld wanneer k > 1?

Beheers de kernclassificatie-algoritmen die moderne machine learning aandrijven. Ontdek hoe modellen zoals k-NN, logistische regressie, beslissingsbomen en random forests voorspellingen doen, hun nauwkeurigheid evalueren en begrijp wanneer elk model te gebruiken. Ontwikkel vaardigheden om modellen te vergelijken en de beste keuze te maken voor uw data.

Ontdek hoe het k-nearest neighbors-algoritme voorspellingen doet op basis van gelijkenis. Leer omgaan met meerdere kenmerken, parameters afstemmen en kruisvalidatie toepassen om de nauwkeurigheid te verbeteren.

Inzicht in hoe logistische regressie waarschijnlijkheden modelleert en uitkomsten classificeert. Oefenen met het implementeren ervan, het interpreteren van beslissingsgrenzen en het toepassen van regularisatie om overfitting te voorkomen.

Leer hoe beslisbomen gegevens opdelen in betekenisvolle groepen op basis van kenmerkwaarden. Ontdek hoe parameters zoals boomdiepte en het minimum aantal monsters per blad de modelprestaties en generalisatie beïnvloeden.

Ontdek hoe random forests meerdere beslissingsbomen combineren om de nauwkeurigheid en robuustheid te verbeteren. Begrijp de rol van willekeur en pas deze ensemblemethode toe op real-world data.

Modellen evalueren met behulp van metriek zoals nauwkeurigheid, precisie, recall en F1-score. Interpretatie van verwarringsmatrices en vergelijking van meerdere classificatie-algoritmen om het best presterende model te identificeren.

Wat is k-NN