Surapprentissage
Glissez pour afficher le menu
Surapprentissage
Considérez les deux droites de régression ci-dessous. Laquelle est la meilleure ?
Les métriques suggèrent que le second modèle est meilleur, donc nous l'utilisons pour prédire X_new = [0.2, 0.5, 2.7]. Mais après comparaison des prédictions avec les valeurs réelles, le premier modèle donne de meilleurs résultats.
Cela se produit parce que le deuxième modèle surapprend — il est trop complexe et correspond trop étroitement aux données d'entraînement, ce qui l'empêche de généraliser à de nouveaux cas.
Sous-apprentissage
Le sous-apprentissage survient lorsqu'un modèle est trop simple pour s'ajuster même aux données d'entraînement, ce qui conduit également à de mauvaises prédictions sur des données non vues.
Nous pouvons donc essayer de déterminer visuellement si le modèle sous-ajuste ou sur-ajuste.
Comme il n'est pas possible de visualiser des modèles de haute dimension, une autre méthode est nécessaire pour détecter le surapprentissage ou le sous-apprentissage.
Séparation entraînement-test
Pour estimer la performance sur des données non vues, le jeu de données est divisé en un ensemble d'entraînement et un ensemble de test avec des cibles connues.
Entraînement sur l'ensemble d'apprentissage et calcul des métriques sur les ensembles d'apprentissage et de test pour comparer les performances.
La répartition doit être aléatoire. En général, 20 à 30 % des données sont affectées à l'ensemble de test, et 70 à 80 % sont utilisées pour l'entraînement. Scikit-learn propose une méthode simple pour effectuer cette opération.
Par exemple, pour diviser l'ensemble d'entraînement en 70 % pour l'entraînement et 30 % pour le test, le code suivant peut être utilisé :
from sklearn.model_selection import train_test_split # import the function
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
Surapprentissage
Surapprentissage
Considérez les deux droites de régression ci-dessous. Laquelle est la meilleure ?
Les métriques suggèrent que le second modèle est meilleur, donc nous l'utilisons pour prédire X_new = [0.2, 0.5, 2.7]. Mais après comparaison des prédictions avec les valeurs réelles, le premier modèle donne de meilleurs résultats.
Cela se produit parce que le deuxième modèle surapprend — il est trop complexe et correspond trop étroitement aux données d'entraînement, ce qui l'empêche de généraliser à de nouveaux cas.
Sous-apprentissage
Le sous-apprentissage survient lorsqu'un modèle est trop simple pour s'ajuster même aux données d'entraînement, ce qui conduit également à de mauvaises prédictions sur des données non vues.
Nous pouvons donc essayer de déterminer visuellement si le modèle sous-ajuste ou sur-ajuste.
Comme il n'est pas possible de visualiser des modèles de haute dimension, une autre méthode est nécessaire pour détecter le surapprentissage ou le sous-apprentissage.
Séparation entraînement-test
Pour estimer la performance sur des données non vues, le jeu de données est divisé en un ensemble d'entraînement et un ensemble de test avec des cibles connues.
Entraînement sur l'ensemble d'apprentissage et calcul des métriques sur les ensembles d'apprentissage et de test pour comparer les performances.
La répartition doit être aléatoire. En général, 20 à 30 % des données sont affectées à l'ensemble de test, et 70 à 80 % sont utilisées pour l'entraînement. Scikit-learn propose une méthode simple pour effectuer cette opération.
Par exemple, pour diviser l'ensemble d'entraînement en 70 % pour l'entraînement et 30 % pour le test, le code suivant peut être utilisé :
from sklearn.model_selection import train_test_split # import the function
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)
Merci pour vos commentaires !
