Métriques
Glissez pour afficher le menu
Lors de la construction d'un modèle, il est nécessaire d'utiliser une métrique qui mesure la qualité de son ajustement aux données. Une métrique fournit un score numérique décrivant la performance du modèle. Dans ce chapitre, nous nous concentrons sur les plus courantes.
Nous utiliserons la notation suivante :
Nous connaissons déjà une métrique, SSR (Somme des Résidus au Carré), que nous avons minimisée pour identifier les paramètres optimaux.
En utilisant notre notation, nous pouvons exprimer la formule du SSR comme suit :
ou également :
Cette métrique ne fonctionne que lorsque les modèles utilisent le même nombre de points de données. Elle n’indique pas réellement la performance d’un modèle. Imaginez deux modèles entraînés sur des ensembles de données de tailles différentes.
Le premier modèle semble mieux s’ajuster visuellement mais présente un SSR plus élevé car il comporte plus de points, ce qui augmente la somme même si les résidus moyens sont plus faibles. Utiliser la moyenne des résidus au carré corrige ce problème — la Moyenne des Erreurs Quadratiques (MSE).
MSE
ou de manière équivalente :
Calcul du MSE avec NumPy :
mse = np.mean((y_true - y_pred)**2)
Ou avec Scikit-learn :
from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)
Le MSE est élevé au carré, ce qui complique son interprétation. Si le MSE est de 49 dollars², on souhaite obtenir l’erreur en dollars. Prendre la racine donne 7 — la racine de l’erreur quadratique moyenne (RMSE).
RMSE
Calcul du RMSE à l'aide de :
rmse = np.sqrt(np.mean((y_true - y_pred)**2))
Ou avec Scikit-learn :
rmse = mean_squared_error(y_true, y_pred, squared=False)
MAE
Au lieu d'élever les résidus au carré, on peut prendre leur valeur absolue — cela donne l'erreur absolue moyenne (MAE).
ou de manière équivalente
La MAE se comporte comme la MSE mais traite les grandes erreurs de manière plus modérée. Comme elle utilise les valeurs absolues, elle est plus robuste aux valeurs aberrantes, ce qui la rend utile lorsque des valeurs extrêmes faussent l'ensemble de données.
Calcul de la MAE :
mae = np.mean(np.fabs(y_true - y_pred))
Ou :
from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)
SSR nous a aidés à dériver l'équation normale, mais toute métrique peut être utilisée lors de la comparaison des modèles.
SSR, MSE et RMSE classent toujours les modèles de la même manière, tandis que MAE peut en préférer un autre car elle pénalise moins les grandes erreurs. Il est recommandé de choisir une métrique à l'avance et d'optimiser spécifiquement pour celle-ci.
Vous pouvez désormais affirmer que le deuxième modèle est meilleur puisque toutes ses métriques sont plus faibles. Cependant, des métriques plus faibles ne signifient pas toujours que le modèle est meilleur.
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
Métriques
Lors de la construction d'un modèle, il est nécessaire d'utiliser une métrique qui mesure la qualité de son ajustement aux données. Une métrique fournit un score numérique décrivant la performance du modèle. Dans ce chapitre, nous nous concentrons sur les plus courantes.
Nous utiliserons la notation suivante :
Nous connaissons déjà une métrique, SSR (Somme des Résidus au Carré), que nous avons minimisée pour identifier les paramètres optimaux.
En utilisant notre notation, nous pouvons exprimer la formule du SSR comme suit :
ou également :
Cette métrique ne fonctionne que lorsque les modèles utilisent le même nombre de points de données. Elle n’indique pas réellement la performance d’un modèle. Imaginez deux modèles entraînés sur des ensembles de données de tailles différentes.
Le premier modèle semble mieux s’ajuster visuellement mais présente un SSR plus élevé car il comporte plus de points, ce qui augmente la somme même si les résidus moyens sont plus faibles. Utiliser la moyenne des résidus au carré corrige ce problème — la Moyenne des Erreurs Quadratiques (MSE).
MSE
ou de manière équivalente :
Calcul du MSE avec NumPy :
mse = np.mean((y_true - y_pred)**2)
Ou avec Scikit-learn :
from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)
Le MSE est élevé au carré, ce qui complique son interprétation. Si le MSE est de 49 dollars², on souhaite obtenir l’erreur en dollars. Prendre la racine donne 7 — la racine de l’erreur quadratique moyenne (RMSE).
RMSE
Calcul du RMSE à l'aide de :
rmse = np.sqrt(np.mean((y_true - y_pred)**2))
Ou avec Scikit-learn :
rmse = mean_squared_error(y_true, y_pred, squared=False)
MAE
Au lieu d'élever les résidus au carré, on peut prendre leur valeur absolue — cela donne l'erreur absolue moyenne (MAE).
ou de manière équivalente
La MAE se comporte comme la MSE mais traite les grandes erreurs de manière plus modérée. Comme elle utilise les valeurs absolues, elle est plus robuste aux valeurs aberrantes, ce qui la rend utile lorsque des valeurs extrêmes faussent l'ensemble de données.
Calcul de la MAE :
mae = np.mean(np.fabs(y_true - y_pred))
Ou :
from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)
SSR nous a aidés à dériver l'équation normale, mais toute métrique peut être utilisée lors de la comparaison des modèles.
SSR, MSE et RMSE classent toujours les modèles de la même manière, tandis que MAE peut en préférer un autre car elle pénalise moins les grandes erreurs. Il est recommandé de choisir une métrique à l'avance et d'optimiser spécifiquement pour celle-ci.
Vous pouvez désormais affirmer que le deuxième modèle est meilleur puisque toutes ses métriques sont plus faibles. Cependant, des métriques plus faibles ne signifient pas toujours que le modèle est meilleur.
Merci pour vos commentaires !
