In sintesi, hai appreso quattro algoritmi: k-NN, Regressione Logistica, Albero Decisionale e Foresta Casuale. Ognuno presenta vantaggi e svantaggi specifici, discussi al termine delle rispettive sezioni.

La seguente visualizzazione mostra come ciascun algoritmo si comporta su diversi dataset sintetici:

Qui, maggiore è l'intensità del colore, maggiore è la fiducia del modello nelle sue previsioni.

Si nota che ogni dataset ha un modello diverso che offre le migliori prestazioni. È difficile sapere in anticipo quale modello funzionerà meglio, quindi l'approccio più efficace è provarne diversi. Questo è il concetto alla base del Teorema No Free Lunch.

Tuttavia, in alcune situazioni, la comprensione degli algoritmi consente di escludere in anticipo determinati modelli se non sono adatti al compito.

Ad esempio, ciò avviene con la Regressione Logistica (senza utilizzare PolynomialFeatures), che crea un confine decisionale lineare. Quindi, osservando la complessità del secondo dataset nell'immagine, si potrebbe prevedere in anticipo che non otterrà buoni risultati.

Un altro esempio: se il compito richiede velocità di previsione estremamente elevata — come nel caso di previsioni in tempo reale in un'app — allora k-NN è una scelta poco adatta. Lo stesso vale per una Foresta Casuale con molti Alberi Decisionali. È possibile ridurre il numero di alberi tramite il parametro n_estimators per migliorare la velocità, ma ciò potrebbe comportare prestazioni inferiori.

La seguente tabella aiuta a comprendere quale pre-elaborazione è necessaria prima di addestrare ciascun modello e come le prestazioni del modello variano all'aumentare del numero di caratteristiche o istanze:

• n – number of instances (samples);
• m – number of features;
• t – number of trees in a Random Forest;
• k – number of neighbors in k-NN;
• * Scaling is not required if penalty=None in Logistic Regression;
• ** PolynomialFeatures adds more features, so the effective number of features m increases.