Métriques

Jusqu'à présent, nous avons utilisé l'exactitude comme principale métrique pour évaluer la performance du modèle. Cependant, l'exactitude présente certaines limites. Examinons maintenant ses inconvénients et introduisons plusieurs métriques supplémentaires – basées sur TP, TN, FP et FN – qui permettent de répondre à ces problématiques.

Exactitude

L'exactitude représente la proportion de prédictions correctes :

Cependant, la précision présente des inconvénients. Par exemple, imaginez que vous essayez de prédire si un patient souffre d'une maladie rare. L'ensemble de données contient 99,9 % de patients sains et seulement 0,1 % de patients atteints de la maladie. Dans ce cas, prédire systématiquement que le patient est sain donnerait une précision de 0,999 – alors qu'un tel modèle est totalement inutile.

De tels ensembles de données sont appelés déséquilibrés, et dans ces situations, la précision équilibrée est une métrique plus appropriée.

Précision équilibrée

La précision équilibrée calcule séparément la proportion de prédictions positives correctes et la proportion de prédictions négatives correctes, puis les moyenne. Cette approche accorde la même importance à chaque classe, quel que soit le déséquilibre de l'ensemble de données.

Où

• $\text{P} = \textcolor{green}{\text{TP}} + \textcolor{red}{\text{FN}}$ – nombre total d'instances positives (classe 1) ;
• $\text{N} = \textcolor{green}{\text{TN}} + \textcolor{red}{\text{FP}}$ – nombre total d'instances négatives (classe 0).

Dans l'exemple de la maladie rare, la précision équilibrée d'un modèle qui prédit toujours « sain » serait de 0,5 – ce qui met en évidence le problème. Ainsi, ce problème est résolu.

Cependant, la précision équilibrée ne distingue toujours pas les erreurs de type 1 et de type 2 – tout comme la précision classique. C'est là qu'interviennent la précision et le rappel.

Précision

La métrique de précision indique combien des valeurs que le modèle a prédites comme positives étaient réellement positives. Il s'agit de la proportion de prédictions vraies positives parmi toutes les prédictions positives faites par le modèle :

L'utilisation de la métrique de précision permet de comprendre à quelle fréquence une erreur de type 1 se produit. Une précision élevée signifie que les erreurs de type 1 sont rares, tandis qu'une précision faible indique que ces erreurs sont fréquentes.

Rappel

La métrique de rappel montre la proportion de cas réellement positifs que le modèle a correctement prédits :

La métrique de rappel permet de comprendre à quelle fréquence une erreur de type 2 se produit. Un rappel élevé signifie que les erreurs de type 2 sont rares, tandis qu'un rappel faible indique qu'elles surviennent fréquemment.

Cependant, la précision et le rappel présentent toutes deux des limites. Par exemple, un modèle qui prédit uniquement la classe positive (1) obtiendra un rappel parfait, mais sa précision sera faible. À l'inverse, un modèle qui prédit correctement une seule instance positive et classe tout le reste comme négatif aura une précision parfaite, mais un rappel catastrophique.

Cela montre qu'il est facile de construire un modèle avec une précision parfaite ou un rappel parfait, mais beaucoup plus difficile d'en obtenir un performant sur les deux aspects. C'est pourquoi il est important de considérer les deux métriques – et heureusement, il existe une métrique qui les combine.

Score F1

Le score F1 est la moyenne harmonique de la précision et du rappel. La moyenne harmonique est préférée à la moyenne arithmétique car elle pénalise les situations où l'une des valeurs (précision ou rappel) est faible, ce qui en fait une mesure plus équilibrée des performances d'un modèle.

Le score F1 combine la précision et le rappel en une seule métrique. Il ne sera élevé que si la précision et le rappel sont toutes deux relativement élevés, ce qui en fait une mesure utile lorsque l'on souhaite équilibrer les deux types d'erreurs.

Le choix de la métrique appropriée dépend de la tâche spécifique. L'exactitude (ou l'exactitude équilibrée pour les ensembles de données déséquilibrés) est intuitive et fournit une vue d'ensemble des performances globales du modèle. Si une analyse plus détaillée des types d'erreurs commises par le modèle est nécessaire, la précision permet d'identifier les erreurs de type 1, tandis que le rappel met en évidence les erreurs de type 2. Le score F1 indique dans quelle mesure le modèle équilibre les erreurs de type 1 et de type 2.

Métriques en Python

Scikit-learn propose des implémentations pour toutes ces métriques dans le module sklearn.metrics :

from sklearn.metrics import accuracy_score, balanced_accuracy_score, precision_score, recall_score, f1_score

accuracy = accuracy_score(y_true, y_pred)
balanced_accuracy = balanced_accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)

Si vous souhaitez obtenir les métriques telles que la précision, le rappel et le F1-score en une seule fois, sklearn propose la fonction classification_report() :