Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Apprendre Visualisation et Journalisation des Métriques | Section
Fondamentaux du MLOps

bookVisualisation et Journalisation des Métriques

123456789101112131415161718192021
import matplotlib.pyplot as plt import numpy as np # Simulate model metric logging over 12 weeks weeks = np.arange(1, 13) accuracy = np.array([0.89, 0.90, 0.91, 0.91, 0.92, 0.91, 0.90, 0.89, 0.87, 0.85, 0.86, 0.86]) precision = np.array([0.88, 0.88, 0.89, 0.90, 0.89, 0.89, 0.88, 0.87, 0.86, 0.84, 0.85, 0.85]) recall = np.array([0.87, 0.88, 0.90, 0.89, 0.91, 0.90, 0.88, 0.86, 0.85, 0.83, 0.84, 0.84]) plt.figure(figsize=(10, 6)) plt.plot(weeks, accuracy, marker='o', label='Accuracy') plt.plot(weeks, precision, marker='s', label='Precision') plt.plot(weeks, recall, marker='^', label='Recall') plt.axhline(0.88, color='red', linestyle='--', label='Alert Threshold') plt.title('Model Metrics Over Time') plt.xlabel('Week') plt.ylabel('Metric Value') plt.ylim(0.8, 1.0) plt.legend() plt.grid(True) plt.show()
copy

La surveillance des métriques du modèle telles que l’exactitude, la précision et le rappel au fil du temps permet d’obtenir une vision de la performance continue du modèle. Des valeurs constantes suggèrent un comportement stable, tandis que des baisses notables—en particulier sous un seuil prédéfini—peuvent signaler des problèmes sous-jacents. Une chute soudaine de l’accuracy, par exemple, peut indiquer une dérive des données, des changements dans le comportement des utilisateurs ou des problèmes de qualité des données en amont.

Pour maintenir de manière proactive la fiabilité du modèle, il convient de configurer des alertes qui se déclenchent lorsque les métriques passent sous des seuils critiques. Ces alertes peuvent aller de simples notifications par e-mail à des tâches de réentraînement automatisées. L’essentiel est de réagir rapidement aux changements de performance afin de minimiser tout impact négatif sur les utilisateurs ou les résultats métier.

Note
Remarque

La surveillance doit inclure à la fois les métriques du modèle et celles de la qualité des données.

question mark

Pourquoi est-il important de surveiller à la fois les métriques de qualité du modèle et des données dans les systèmes de machine learning en production ?

Select the correct answer

Tout était clair ?

Comment pouvons-nous l'améliorer ?

Merci pour vos commentaires !

Section 1. Chapitre 15

Demandez à l'IA

expand

Demandez à l'IA

ChatGPT

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

bookVisualisation et Journalisation des Métriques

Glissez pour afficher le menu

123456789101112131415161718192021
import matplotlib.pyplot as plt import numpy as np # Simulate model metric logging over 12 weeks weeks = np.arange(1, 13) accuracy = np.array([0.89, 0.90, 0.91, 0.91, 0.92, 0.91, 0.90, 0.89, 0.87, 0.85, 0.86, 0.86]) precision = np.array([0.88, 0.88, 0.89, 0.90, 0.89, 0.89, 0.88, 0.87, 0.86, 0.84, 0.85, 0.85]) recall = np.array([0.87, 0.88, 0.90, 0.89, 0.91, 0.90, 0.88, 0.86, 0.85, 0.83, 0.84, 0.84]) plt.figure(figsize=(10, 6)) plt.plot(weeks, accuracy, marker='o', label='Accuracy') plt.plot(weeks, precision, marker='s', label='Precision') plt.plot(weeks, recall, marker='^', label='Recall') plt.axhline(0.88, color='red', linestyle='--', label='Alert Threshold') plt.title('Model Metrics Over Time') plt.xlabel('Week') plt.ylabel('Metric Value') plt.ylim(0.8, 1.0) plt.legend() plt.grid(True) plt.show()
copy

La surveillance des métriques du modèle telles que l’exactitude, la précision et le rappel au fil du temps permet d’obtenir une vision de la performance continue du modèle. Des valeurs constantes suggèrent un comportement stable, tandis que des baisses notables—en particulier sous un seuil prédéfini—peuvent signaler des problèmes sous-jacents. Une chute soudaine de l’accuracy, par exemple, peut indiquer une dérive des données, des changements dans le comportement des utilisateurs ou des problèmes de qualité des données en amont.

Pour maintenir de manière proactive la fiabilité du modèle, il convient de configurer des alertes qui se déclenchent lorsque les métriques passent sous des seuils critiques. Ces alertes peuvent aller de simples notifications par e-mail à des tâches de réentraînement automatisées. L’essentiel est de réagir rapidement aux changements de performance afin de minimiser tout impact négatif sur les utilisateurs ou les résultats métier.

Note
Remarque

La surveillance doit inclure à la fois les métriques du modèle et celles de la qualité des données.

question mark

Pourquoi est-il important de surveiller à la fois les métriques de qualité du modèle et des données dans les systèmes de machine learning en production ?

Select the correct answer

Tout était clair ?

Comment pouvons-nous l'améliorer ?

Merci pour vos commentaires !

Section 1. Chapitre 15
some-alt