Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Impara Visualizzazione e Registrazione delle Metriche | Sezione
Fondamenti di MLOps

bookVisualizzazione e Registrazione delle Metriche

123456789101112131415161718192021
import matplotlib.pyplot as plt import numpy as np # Simulate model metric logging over 12 weeks weeks = np.arange(1, 13) accuracy = np.array([0.89, 0.90, 0.91, 0.91, 0.92, 0.91, 0.90, 0.89, 0.87, 0.85, 0.86, 0.86]) precision = np.array([0.88, 0.88, 0.89, 0.90, 0.89, 0.89, 0.88, 0.87, 0.86, 0.84, 0.85, 0.85]) recall = np.array([0.87, 0.88, 0.90, 0.89, 0.91, 0.90, 0.88, 0.86, 0.85, 0.83, 0.84, 0.84]) plt.figure(figsize=(10, 6)) plt.plot(weeks, accuracy, marker='o', label='Accuracy') plt.plot(weeks, precision, marker='s', label='Precision') plt.plot(weeks, recall, marker='^', label='Recall') plt.axhline(0.88, color='red', linestyle='--', label='Alert Threshold') plt.title('Model Metrics Over Time') plt.xlabel('Week') plt.ylabel('Metric Value') plt.ylim(0.8, 1.0) plt.legend() plt.grid(True) plt.show()
copy

Monitorando metriche del modello come accuratezza, precisione e richiamo nel tempo, si ottengono informazioni sulle prestazioni continue del modello. Valori costanti suggeriscono un comportamento stabile, mentre cali evidenti—soprattutto al di sotto di una soglia predefinita—possono indicare problemi sottostanti. Un improvviso calo dell'accuracy, ad esempio, può segnalare drift dei dati, cambiamenti nel comportamento degli utenti o problemi di qualità dei dati a monte.

Per mantenere proattivamente l'affidabilità del modello, è opportuno impostare avvisi che si attivano quando le metriche scendono sotto soglie critiche. Questi avvisi possono essere semplici notifiche email o processi automatizzati di retraining. L'aspetto fondamentale è rispondere rapidamente ai cambiamenti delle prestazioni, minimizzando qualsiasi impatto negativo sugli utenti o sui risultati aziendali.

Note
Nota

Il monitoraggio dovrebbe includere sia le metriche del modello sia quelle della qualità dei dati.

question mark

Perché è importante monitorare sia le metriche di qualità del modello che dei dati nei sistemi di machine learning in produzione?

Select the correct answer

Tutto è chiaro?

Come possiamo migliorarlo?

Grazie per i tuoi commenti!

Sezione 1. Capitolo 15

Chieda ad AI

expand

Chieda ad AI

ChatGPT

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

bookVisualizzazione e Registrazione delle Metriche

Scorri per mostrare il menu

123456789101112131415161718192021
import matplotlib.pyplot as plt import numpy as np # Simulate model metric logging over 12 weeks weeks = np.arange(1, 13) accuracy = np.array([0.89, 0.90, 0.91, 0.91, 0.92, 0.91, 0.90, 0.89, 0.87, 0.85, 0.86, 0.86]) precision = np.array([0.88, 0.88, 0.89, 0.90, 0.89, 0.89, 0.88, 0.87, 0.86, 0.84, 0.85, 0.85]) recall = np.array([0.87, 0.88, 0.90, 0.89, 0.91, 0.90, 0.88, 0.86, 0.85, 0.83, 0.84, 0.84]) plt.figure(figsize=(10, 6)) plt.plot(weeks, accuracy, marker='o', label='Accuracy') plt.plot(weeks, precision, marker='s', label='Precision') plt.plot(weeks, recall, marker='^', label='Recall') plt.axhline(0.88, color='red', linestyle='--', label='Alert Threshold') plt.title('Model Metrics Over Time') plt.xlabel('Week') plt.ylabel('Metric Value') plt.ylim(0.8, 1.0) plt.legend() plt.grid(True) plt.show()
copy

Monitorando metriche del modello come accuratezza, precisione e richiamo nel tempo, si ottengono informazioni sulle prestazioni continue del modello. Valori costanti suggeriscono un comportamento stabile, mentre cali evidenti—soprattutto al di sotto di una soglia predefinita—possono indicare problemi sottostanti. Un improvviso calo dell'accuracy, ad esempio, può segnalare drift dei dati, cambiamenti nel comportamento degli utenti o problemi di qualità dei dati a monte.

Per mantenere proattivamente l'affidabilità del modello, è opportuno impostare avvisi che si attivano quando le metriche scendono sotto soglie critiche. Questi avvisi possono essere semplici notifiche email o processi automatizzati di retraining. L'aspetto fondamentale è rispondere rapidamente ai cambiamenti delle prestazioni, minimizzando qualsiasi impatto negativo sugli utenti o sui risultati aziendali.

Note
Nota

Il monitoraggio dovrebbe includere sia le metriche del modello sia quelle della qualità dei dati.

question mark

Perché è importante monitorare sia le metriche di qualità del modello che dei dati nei sistemi di machine learning in produzione?

Select the correct answer

Tutto è chiaro?

Come possiamo migliorarlo?

Grazie per i tuoi commenti!

Sezione 1. Capitolo 15
some-alt