Voordat we beginnen met het implementeren van een Decision Tree in Python, is er een belangrijk onderwerp om te bespreken: overfitting – de voornaamste uitdaging bij Decision Trees.

Hieronder staat een voorbeeld van hoe de Decision Tree het dataset benadert. Let op hoe het model zich aanpast aan de trainingsdata en de patronen en details vastlegt:

Hoewel het model de trainingsset perfect benadert zonder fouten te maken, is het probleem dat de beslissingsgrenzen te complex zijn. Hierdoor zal de nauwkeurigheid op de testset (of bij cross-validatie) aanzienlijk lager zijn dan die van de trainingsset, wat aangeeft dat het model overfit.

De oorzaak hiervan is dat het model zoveel splitsingen maakt als nodig is om de trainingsdata perfect te benaderen.

Gelukkig is de Decision Tree zeer configureerbaar, waardoor we de hyperparameters kunnen aanpassen om overfitting te minimaliseren.

Maximale boomdiepte

Diepte van een knoop is de afstand (verticaal) van de knoop tot de wortelknoop.

We kunnen de maximale diepte van een beslissingsboom beperken, waardoor deze kleiner wordt en minder snel overfit. Hiervoor veranderen we de beslissingsknopen op een maximale diepte in bladknopen.

Hier is ook een gif die laat zien hoe de beslissingsgrens verandert bij verschillende waarden voor de maximale diepte:

Minimum aantal monsters

Een andere manier om de boom te beperken is door het minimum aantal monsters op de bladknopen in te stellen. Dit maakt het model eenvoudiger en robuuster tegen uitschieters.

Hier zie je hoe deze hyperparameter de beslissingsgrens beïnvloedt:

Beide hyperparameters zijn beschikbaar in de Decision Tree-implementatie van scikit-learn.
Standaard is de boom onbeperkt: max_depth is ingesteld op None, wat betekent dat er geen limiet is aan de diepte, en min_samples_leaf is ingesteld op 1.