Surapprentissage et Régularisation

Comme démontré dans le chapitre précédent, en utilisant PolynomialFeatures, il est possible de créer une frontière de décision complexe. Les caractéristiques polynomiales de degré deux peuvent même produire les frontières illustrées dans l'image ci-dessous :

Et il ne s'agit que d'un degré deux. Un degré supérieur peut générer des formes encore plus complexes. Cependant, cela pose un problème. La frontière de décision construite par la régression logistique peut devenir trop compliquée, ce qui entraîne un surapprentissage du modèle.

Le surapprentissage se produit lorsque le modèle, au lieu d'apprendre des tendances générales dans les données, construit une frontière de décision très complexe pour gérer chaque instance d'entraînement. Pourtant, il n'obtient pas de bons résultats sur des données qu'il n'a jamais vues, alors que la capacité à bien fonctionner sur des données inédites est une tâche essentielle pour un modèle d'apprentissage automatique.

La régularisation permet de résoudre le problème de surapprentissage. En effet, la régularisation l2 est utilisée par défaut dans la classe LogisticRegression. Cependant, il est nécessaire de configurer l'intensité de la régularisation appliquée au modèle. Cela est contrôlé par le paramètre C :

• valeur de C plus élevée : régularisation plus faible, surapprentissage accru ;
• valeur de C plus faible : régularisation plus forte, moins de surapprentissage (mais risque de sous-apprentissage).

Les valeurs de C qui donneront un bon modèle dépendent du jeu de données, il est donc préférable de les choisir à l'aide de GridSearchCV.

La classe LogisticRegression inclut la régularisation par défaut, il faut donc soit supprimer la régularisation (en définissant penalty=None), soit mettre les données à l'échelle (par exemple, en utilisant StandardScaler).