Samenvattend heb je vier algoritmen geleerd: k-NN, Logistische Regressie, Beslissingsboom en Random Forest. Elk heeft zijn eigen voor- en nadelen, die aan het einde van hun respectievelijke secties zijn besproken.

De volgende visualisatie laat zien hoe elk algoritme presteert op verschillende synthetische datasets:

Hier geldt: hoe dieper de kleur, hoe zekerder het model is van zijn voorspellingen.

Je zult merken dat elke dataset een ander model heeft dat het beste presteert. Het is moeilijk om van tevoren te weten welk model beter zal werken, dus de beste aanpak is om meerdere modellen te proberen. Dit is het idee achter de No Free Lunch Theorem.

In sommige situaties kan je kennis van de algoritmen echter helpen om bepaalde modellen vooraf uit te sluiten als ze niet geschikt zijn voor de taak.

Dit is bijvoorbeeld het geval bij Logistische Regressie (zonder gebruik van PolynomialFeatures), waarvan we weten dat het een lineaire beslissingsgrens creëert. Door naar de complexiteit van de tweede dataset in de afbeelding te kijken, zouden we vooraf kunnen voorspellen dat het niet goed zal presteren.

Een ander voorbeeld: als je taak extreem snelle voorspellingen vereist — zoals realtime voorspellingen in een app — dan is k-NN een slechte keuze. Hetzelfde geldt voor een Random Forest met veel beslissingsbomen. Je kunt het aantal bomen verminderen met de parameter n_estimators om de snelheid te verhogen, maar dat kan ten koste gaan van de prestaties.

De volgende tabel helpt je te begrijpen welke preprocessing vereist is voordat je elk model traint, en hoe de prestaties van het model worden beïnvloed naarmate het aantal features of instanties toeneemt:

• n – number of instances (samples);
• m – number of features;
• t – number of trees in a Random Forest;
• k – number of neighbors in k-NN;
• * Scaling is not required if penalty=None in Logistic Regression;
• ** PolynomialFeatures adds more features, so the effective number of features m increases.