Résumé

Résumons le tout ! Nous avons appris quatre algorithmes : k-NN, Régression Logistique, Arbre de Décision et Forêt Aléatoire. Chacun a ses avantages et inconvénients qui sont couverts à la fin de chaque section.
La visualisation suivante montre comment chaque algorithme fonctionne sur certains ensembles de données synthétiques.

Ici, plus le modèle est confiant dans ses prédictions, plus la couleur est profonde. Vous pouvez remarquer que chaque ensemble de données a un meilleur modèle différent. Il est difficile de dire à l'avance quel modèle fonctionnera mieux, donc la meilleure façon est de tous les essayer. C'est ce que signifiait le Théorème de No Free Lunch.
Cependant, dans certains cas, la connaissance des algorithmes peut vous indiquer à l'avance que l'algorithme n'est pas adapté à la tâche.

Par exemple, c'est le cas avec la Régression Logistique(sans PolynomialFeatures), qui, nous le savons, fournit une frontière de décision linéaire. Donc, en regardant la complexité du deuxième ensemble de données sur une image, nous pourrions dire à l'avance que cela ne fonctionnerait pas bien.
Comme autre exemple, si votre tâche nécessite une vitesse de prédiction ultra-rapide(par exemple, faire des prédictions en temps réel dans une application), alors k-NN est un mauvais choix. Il en va de même pour Random Forest avec de nombreux arbres de décision(mais vous pouvez diminuer le n_estimators, et peut-être obtiendrez-vous une vitesse acceptable, mais les performances se détérioreront).

Le tableau suivant vous aidera à savoir quel prétraitement doit être effectué avant d'entraîner le modèle et à quel point le modèle deviendra plus lent avec l'augmentation du nombre de caractéristiques/instances.