Lors de la construction d’un modèle, il est nécessaire d’utiliser une métrique permettant de mesurer la qualité de l’ajustement aux données. Une métrique fournit une valeur numérique décrivant la performance du modèle. Dans ce chapitre, nous nous concentrons sur les plus courantes.

Nous utiliserons la notation suivante :

Nous connaissons déjà une métrique, SSR (Sum of Squared Residuals), que nous avons minimisée pour identifier les paramètres optimaux.
En utilisant notre notation, nous pouvons exprimer la formule du SSR comme suit :

ou de manière équivalente :

Cette métrique ne fonctionne que lorsque les modèles utilisent le même nombre de points de données. Elle n’indique pas réellement la performance d’un modèle. Imaginez deux modèles entraînés sur des ensembles de données de tailles différentes.

Le premier modèle s’ajuste mieux visuellement mais présente un SSR plus élevé car il comporte plus de points, donc la somme augmente même avec des résidus moyens plus faibles. Utiliser la moyenne des résidus au carré corrige ce problème — la Moyenne des Erreurs Quadratiques (MSE).

MSE

ou de manière équivalente :

Calcul du MSE avec NumPy :

mse = np.mean((y_true - y_pred)**2)

Ou avec Scikit-learn :

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

Le MSE est élevé au carré, ce qui complique son interprétation. Si le MSE est de 49 dollars², on souhaite obtenir l’erreur en dollars. Prendre la racine donne 7 — la racine carrée de l’erreur quadratique moyenne (RMSE).

RMSE

Calcul du RMSE à l'aide de :

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

Ou avec Scikit-learn :

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

Au lieu d'élever les résidus au carré, il est possible de prendre leur valeur absolue — cela donne l’erreur absolue moyenne (MAE).

ou de manière équivalente

La MAE se comporte comme la MSE mais traite les grandes erreurs de façon plus modérée. Comme elle utilise les valeurs absolues, elle est plus robuste aux valeurs aberrantes, ce qui la rend utile lorsque des valeurs extrêmes faussent l'ensemble de données.

Calcul de la MAE :

mae = np.mean(np.fabs(y_true - y_pred))

Ou :

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

La SSR nous a aidés à dériver l’équation normale, mais toute métrique peut être utilisée lors de la comparaison des modèles.

Vous pouvez désormais affirmer avec certitude que le deuxième modèle est meilleur puisque toutes ses métriques sont plus faibles. Cependant, des métriques plus faibles ne signifient pas toujours que le modèle est meilleur.