Summary  
This chapter covers hyperparameter search strategies for k-nearest neighbors, explaining how GridSearchCV exhaustively tests all combinations of n_neighbors, weights, and p parameters (leading to high computational cost) and how RandomizedSearchCV can sample combinations more efficiently.

General domain of usage  
Hyperparameter optimization in machine learning

Voordat je `GridSearchCV` gebruikt, let op dat `KNeighborsClassifier` meer hyperparameters heeft dan alleen `n_neighbors`. Twee belangrijke zijn `weights` en `p`.

## Weights

Standaard gebruikt de classifier `weights='uniform'`, wat betekent dat alle *k* buren evenveel stemmen.
Met `weights='distance'` krijgen **dichtere buren meer invloed**, wat vaak de voorspellingen verbetert wanneer nabijgelegen punten relevanter zijn.

## P

De parameter `p` bepaalt de afstandsmaat:

* `p=1`: **Manhattan-afstand**;
* `p=2`: **Euclidische afstand**.

Een `p`-parameter kan **elke positieve integer** aannemen. Er bestaan veel verschillende afstanden, maar deze zijn moeilijker te visualiseren dan `p=1` of `p=2`.

Maak je geen zorgen als de details van `weights` of `p` onduidelijk zijn. Ze worden alleen geïntroduceerd om te laten zien dat er **meer dan één hyperparameter is die de voorspellingen van het model kan beïnvloeden**. Zie ze als voorbeelden van hyperparameters die afgestemd kunnen worden.


Opmerking

Eerder werd alleen `n_neighbors` afgestemd. Om over alle drie de hyperparameters te zoeken, gebruik:

```python
param_grid = {
    'n_neighbors': [1, 3, 5, 7],
    'weights': ['distance', 'uniform'],
    'p': [1, 2]
}
```

`GridSearchCV` probeert **alle mogelijke combinaties** om de beste te vinden, dus het zal al deze proberen:

Een groter raster zoals:

```python
param_grid = {
    'n_neighbors': [...],
    'weights': ['distance', 'uniform'],
    'p': [1, 2, 3, 4, 5]
}
```

creëert 100 combinaties. Met 5-voudige cross-validatie wordt het model **500 keer** getraind.
Dit is prima voor kleine datasets, maar voor grotere wordt het te traag.

Om de rekentijd te verkorten, test **`RandomizedSearchCV`** slechts een **willekeurige subset** van combinaties, waardoor doorgaans veel sneller sterke resultaten worden gevonden dan met een volledige grid search.

Het belangrijkste probleem van `GridSearchCV` is dat het alle mogelijke combinaties (van wat is gespecificeerd in `param_grid`) probeert, wat veel tijd kan kosten. Is deze uitspraak correct?

Machine learning wordt tegenwoordig overal toegepast. Wil je het zelf leren? Deze cursus is een introductie tot de wereld van machine learning waarin je basisconcepten leert, werkt met Scikit-learn – de populairste bibliotheek voor ML – en je eerste machine learning-project bouwt.
Deze cursus is bedoeld voor studenten met basiskennis van Python, Pandas en Numpy.

Leer de concepten van machine learning en de workflow van een ML-project.

Preprocessing is waarschijnlijk de belangrijkste fase van een ML-project. Dit hoofdstuk behandelt de preprocessing-stappen die nodig zijn voor vrijwel elke dataset.

Een pipeline is een overzichtelijke manier om alle preprocessingsstappen en een model te combineren. Pipelines maken het veel eenvoudiger om een model te trainen en te gebruiken.

Modellering is de meest interessante fase van een ML-project. Leer het model opbouwen, verfijnen en evalueren!

Het Gebrek van GridSearchCV

Weights

P