Jusqu'à présent, nous avons utilisé l'exactitude comme principal indicateur pour évaluer la performance du modèle. Cependant, l'exactitude présente certaines limites. Examinons maintenant ses inconvénients et introduisons plusieurs autres métriques – basées sur TP, TN, FP et FN – qui permettent de pallier ces problèmes.

Exactitude

L'exactitude représente la proportion de prédictions correctes :

Cependant, l'exactitude présente des inconvénients. Par exemple, imaginez que vous essayez de prédire si un patient est atteint d'une maladie rare. Le jeu de données contient 99,9 % de patients sains et seulement 0,1 % de patients malades. Dans ce cas, prédire systématiquement que le patient est sain donnerait une exactitude de 0,999 – alors qu'un tel modèle est totalement inutile.

Les jeux de données de ce type sont appelés déséquilibrés, et dans ces situations, l'exactitude équilibrée constitue une métrique plus appropriée.

Précision équilibrée

La précision équilibrée calcule séparément la proportion de prédictions positives correctes et la proportion de prédictions négatives correctes, puis en fait la moyenne. Cette méthode accorde la même importance à chaque classe, quel que soit le déséquilibre du jeu de données.

Où

• $\text{P} = \textcolor{green}{\text{TP}} + \textcolor{red}{\text{FN}}$ - nombre total d'instances positives (classe 1);
• $\text{N} = \textcolor{green}{\text{TN}} + \textcolor{red}{\text{FP}}$ - nombre total d'instances positives (classe 0).

Dans l'exemple de la maladie rare, la précision équilibrée d'un modèle qui prédit toujours « sain » serait de 0,5 – ce qui met efficacement en évidence le problème. Ainsi, ce problème est pris en compte.

Cependant, la précision équilibrée ne distingue toujours pas les erreurs de type 1 et de type 2 – tout comme la précision classique. C'est là que la précision et le rappel interviennent.

Précision

La métrique de précision indique combien des valeurs que le modèle a prédites comme positives étaient réellement positives. Il s'agit de la proportion de prédictions positives correctes parmi toutes les prédictions positives faites par le modèle :

En utilisant la métrique de précision, il est possible de comprendre à quelle fréquence une erreur de type 1 se produit. Une précision élevée signifie que les erreurs de type 1 sont rares, tandis qu'une faible précision indique que ces erreurs surviennent fréquemment.

Rappel

La métrique de rappel indique la proportion de cas positifs réels que le modèle a correctement prédits :

La métrique de rappel permet de comprendre à quelle fréquence une erreur de type 2 se produit. Un rappel élevé signifie que les erreurs de type 2 sont rares, tandis qu'un faible rappel indique qu'elles surviennent fréquemment.

Cependant, la précision et le rappel présentent toutes deux des limites. Par exemple, un modèle qui prédit uniquement la classe positive (1) obtiendra un rappel parfait, mais sa précision sera faible. À l'inverse, un modèle qui prédit correctement une seule instance positive et classe tout le reste comme négatif aura une précision parfaite, mais un rappel très faible.

Cela montre qu'il est facile de construire un modèle avec une précision parfaite ou un rappel parfait, mais qu'il est beaucoup plus difficile d'en concevoir un performant sur les deux aspects. C'est pourquoi il est important de prendre en compte les deux métriques — et heureusement, il existe une métrique qui les combine.

Score F1

Le score F1 est la moyenne harmonique de la précision et du rappel. La moyenne harmonique est préférée à la moyenne arithmétique car elle pénalise les situations où l'une des valeurs (précision ou rappel) est faible, ce qui en fait une mesure plus équilibrée des performances d'un modèle.

Le score F1 combine à la fois la précision et le rappel en une seule métrique. Il n'est élevé que si la précision et le rappel sont tous deux relativement élevés, ce qui en fait une mesure utile lorsque l'équilibre entre les deux types d'erreurs est nécessaire.

Le choix de la bonne métrique dépend de la tâche spécifique. L'exactitude (ou l'exactitude équilibrée pour les ensembles de données déséquilibrés) est intuitive et fournit une idée générale des performances globales du modèle. Si une analyse plus détaillée des types d'erreurs commises par le modèle est nécessaire, la précision permet d'identifier les erreurs de type 1, tandis que le rappel met en évidence les erreurs de type 2. Le score F1 indique dans quelle mesure le modèle est équilibré entre les erreurs de type 1 et de type 2.

Métriques en Python

Scikit-learn propose des implémentations pour toutes ces métriques dans le module sklearn.metrics :

from sklearn.metrics import accuracy_score, balanced_accuracy_score, precision_score, recall_score, f1_score

accuracy = accuracy_score(y_true, y_pred)
balanced_accuracy = balanced_accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)

Si vous souhaitez obtenir des métriques telles que la précision, le rappel et le F1-score en une seule fois, sklearn propose la fonction classification_report() :