Summary  
This chapter explains how logistic regression’s linear decision boundary can be made non-linear by applying polynomial feature expansion, enabling the model to capture curved class boundaries while highlighting the risk of overfitting when using high-degree features.

General domain of usage  
Binary classification in machine learning.

Laten we de resultaten van Logistische Regressie plotten. Bekijk het volgende voorbeeld met twee kenmerken:

Zodra we een Logistische Regressie hebben gebouwd, kunnen we een **beslissingsgrens** plotten. Deze toont het gebied van elke klasse waarin nieuwe instanties als die klasse worden voorspeld. Hier is bijvoorbeeld de beslissingsgrens van Logistische Regressie toegepast op de bovenstaande gegevens:

We zien dat de lijn hier twee klassen perfect scheidt. Wanneer dat het geval is, wordt de dataset **lineair scheidbaar** genoemd. Dit is echter niet altijd het geval. Stel dat de dataset er zo uitziet:

Hierboven staat een beslissingsgrens voor een iets andere dataset. Hier zijn de gegevens **niet lineair scheidbaar**; daarom zijn de voorspellingen van Logistische Regressie niet perfect. Helaas kan Logistische Regressie **standaard geen complexere beslissingsgrenzen voorspellen**, dus dit is de beste voorspelling die we kunnen krijgen.
  
Maar onthoud dat Logistische Regressie is afgeleid van Lineaire Regressie, die een oplossing heeft voor het probleem dat het model te eenvoudig is. Deze oplossing is **Polynomiale Regressie**, en we kunnen de vergelijking hiervan gebruiken voor het berekenen van $$z$$ om een complexere vorm van de beslissingsgrens te krijgen:
$$
z = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_1^2 + \beta_4 x_1 x_2 + \beta_5 x_2^2
$$

Net als bij Polynomiale Regressie kunnen we de `PolynomialFeatures`-transformer gebruiken om polynomiale termen toe te voegen aan onze features - dit helpt het model om complexere patronen te leren.

```python
from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)
```

Deze regel transformeert de oorspronkelijke invoervariabelen in `X` door toe te voegen:
- **Kwadratische termen** (bijv. $$x^2$$);
- **Interactietermen** (bijv. $$x_1 \cdot x_2$$ als er meerdere features zijn).

Als `X` bijvoorbeeld oorspronkelijk twee features heeft: $$[x_1, x_2]$$, dan krijg je na het toepassen van `PolynomialFeatures(2, include_bias=False)`: $$[x_1, x_{2}, x_{1}\\^{2}
, x_{1} x_{2}, x_{2}\\^{2}]$$

Hierdoor kunnen modellen zoals **Logistische Regressie** **niet-lineaire relaties** vastleggen en flexibelere, gebogen beslissingsgrenzen produceren. Echter, als de graad te hoog wordt gekozen, kan het model te goed passen op de trainingsdata - een probleem dat **overfitting** wordt genoemd. Daarom proberen we meestal eerst lagere graden en evalueren we het model zorgvuldig.

Waarom heb je polynomiale kenmerken nodig bij Logistische Regressie?

Beheers de kernclassificatie-algoritmen die moderne machine learning aandrijven. Ontdek hoe modellen zoals k-NN, logistische regressie, beslissingsbomen en random forests voorspellingen doen, hun nauwkeurigheid evalueren en begrijp wanneer elk model te gebruiken. Ontwikkel vaardigheden om modellen te vergelijken en de beste keuze te maken voor uw data.

Ontdek hoe het k-nearest neighbors-algoritme voorspellingen doet op basis van gelijkenis. Leer omgaan met meerdere kenmerken, parameters afstemmen en kruisvalidatie toepassen om de nauwkeurigheid te verbeteren.

Inzicht in hoe logistische regressie waarschijnlijkheden modelleert en uitkomsten classificeert. Oefenen met het implementeren ervan, het interpreteren van beslissingsgrenzen en het toepassen van regularisatie om overfitting te voorkomen.

Leer hoe beslisbomen gegevens opdelen in betekenisvolle groepen op basis van kenmerkwaarden. Ontdek hoe parameters zoals boomdiepte en het minimum aantal monsters per blad de modelprestaties en generalisatie beïnvloeden.

Ontdek hoe random forests meerdere beslissingsbomen combineren om de nauwkeurigheid en robuustheid te verbeteren. Begrijp de rol van willekeur en pas deze ensemblemethode toe op real-world data.

Modellen evalueren met behulp van metriek zoals nauwkeurigheid, precisie, recall en F1-score. Interpretatie van verwarringsmatrices en vergelijking van meerdere classificatie-algoritmen om het best presterende model te identificeren.

Beslissingsgrens