Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Leer Visualiseren en Loggen van Metrische Gegevens | Sectie
Practice
Projects
Quizzes & Challenges
Quizzen
Challenges
/
Mlops Fundamentals

bookVisualiseren en Loggen van Metrische Gegevens

123456789101112131415161718192021
import matplotlib.pyplot as plt import numpy as np # Simulate model metric logging over 12 weeks weeks = np.arange(1, 13) accuracy = np.array([0.89, 0.90, 0.91, 0.91, 0.92, 0.91, 0.90, 0.89, 0.87, 0.85, 0.86, 0.86]) precision = np.array([0.88, 0.88, 0.89, 0.90, 0.89, 0.89, 0.88, 0.87, 0.86, 0.84, 0.85, 0.85]) recall = np.array([0.87, 0.88, 0.90, 0.89, 0.91, 0.90, 0.88, 0.86, 0.85, 0.83, 0.84, 0.84]) plt.figure(figsize=(10, 6)) plt.plot(weeks, accuracy, marker='o', label='Accuracy') plt.plot(weeks, precision, marker='s', label='Precision') plt.plot(weeks, recall, marker='^', label='Recall') plt.axhline(0.88, color='red', linestyle='--', label='Alert Threshold') plt.title('Model Metrics Over Time') plt.xlabel('Week') plt.ylabel('Metric Value') plt.ylim(0.8, 1.0) plt.legend() plt.grid(True) plt.show()
copy

Door modelmetriek zoals nauwkeurigheid, precisie en recall in de tijd te monitoren, ontstaat inzicht in de voortdurende prestaties van het model. Consistente waarden duiden op stabiel gedrag, terwijl duidelijke dalingen—vooral onder een vooraf ingestelde drempel—kunnen wijzen op onderliggende problemen. Een plotselinge daling in accuracy kan bijvoorbeeld duiden op datadrift, veranderingen in gebruikersgedrag of problemen met de kwaliteit van de brondata.

Om de betrouwbaarheid van het model proactief te waarborgen, is het raadzaam om waarschuwingen in te stellen die geactiveerd worden wanneer metriek onder kritieke drempels zakt. Deze waarschuwingen kunnen variëren van eenvoudige e-mailnotificaties tot geautomatiseerde retraining-taken. Het belangrijkste is om snel te reageren op prestatieveranderingen, zodat negatieve impact op gebruikers of bedrijfsresultaten wordt geminimaliseerd.

Note
Opmerking

Monitoring dient zowel model- als datakwaliteitsmetriek te omvatten.

question mark

Waarom is het belangrijk om zowel model- als datakwaliteitsmetingen te monitoren in productie machine learning-systemen?

Select the correct answer

Was alles duidelijk?

Hoe kunnen we het verbeteren?

Bedankt voor je feedback!

Sectie 1. Hoofdstuk 15

Vraag AI

expand

Vraag AI

ChatGPT

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.

bookVisualiseren en Loggen van Metrische Gegevens

Veeg om het menu te tonen

123456789101112131415161718192021
import matplotlib.pyplot as plt import numpy as np # Simulate model metric logging over 12 weeks weeks = np.arange(1, 13) accuracy = np.array([0.89, 0.90, 0.91, 0.91, 0.92, 0.91, 0.90, 0.89, 0.87, 0.85, 0.86, 0.86]) precision = np.array([0.88, 0.88, 0.89, 0.90, 0.89, 0.89, 0.88, 0.87, 0.86, 0.84, 0.85, 0.85]) recall = np.array([0.87, 0.88, 0.90, 0.89, 0.91, 0.90, 0.88, 0.86, 0.85, 0.83, 0.84, 0.84]) plt.figure(figsize=(10, 6)) plt.plot(weeks, accuracy, marker='o', label='Accuracy') plt.plot(weeks, precision, marker='s', label='Precision') plt.plot(weeks, recall, marker='^', label='Recall') plt.axhline(0.88, color='red', linestyle='--', label='Alert Threshold') plt.title('Model Metrics Over Time') plt.xlabel('Week') plt.ylabel('Metric Value') plt.ylim(0.8, 1.0) plt.legend() plt.grid(True) plt.show()
copy

Door modelmetriek zoals nauwkeurigheid, precisie en recall in de tijd te monitoren, ontstaat inzicht in de voortdurende prestaties van het model. Consistente waarden duiden op stabiel gedrag, terwijl duidelijke dalingen—vooral onder een vooraf ingestelde drempel—kunnen wijzen op onderliggende problemen. Een plotselinge daling in accuracy kan bijvoorbeeld duiden op datadrift, veranderingen in gebruikersgedrag of problemen met de kwaliteit van de brondata.

Om de betrouwbaarheid van het model proactief te waarborgen, is het raadzaam om waarschuwingen in te stellen die geactiveerd worden wanneer metriek onder kritieke drempels zakt. Deze waarschuwingen kunnen variëren van eenvoudige e-mailnotificaties tot geautomatiseerde retraining-taken. Het belangrijkste is om snel te reageren op prestatieveranderingen, zodat negatieve impact op gebruikers of bedrijfsresultaten wordt geminimaliseerd.

Note
Opmerking

Monitoring dient zowel model- als datakwaliteitsmetriek te omvatten.

question mark

Waarom is het belangrijk om zowel model- als datakwaliteitsmetingen te monitoren in productie machine learning-systemen?

Select the correct answer

Was alles duidelijk?

Hoe kunnen we het verbeteren?

Bedankt voor je feedback!

Sectie 1. Hoofdstuk 15
some-alt