Modellbewertung
Vorbereitung auf die Auswertung
Vor Beginn des Auswertungsprozesses auf dem Testdatensatz sind folgende Punkte sicherzustellen:
-
Modell in den Evaluierungsmodus versetzen: Mit
model.eval()werden Funktionen wie Dropout und Batch-Normalisierung deaktiviert, um ein konsistentes Verhalten während der Auswertung zu gewährleisten; -
Deaktivieren des Gradienten-Trackings: Mit
torch.no_grad()wird Speicher gespart und die Berechnung beschleunigt, da während der Auswertung keine Gradienten benötigt werden.
# Set the model to evaluation mode
model.eval()
# Disable gradient computation for evaluation
with torch.no_grad():
# Forward pass on the test data
test_predictions = model(X_test)
Umwandlung von Vorhersagen
Wie bereits zuvor erwähnt, liefert das Modell Logits (Rohwerte) als Ausgabe. Um die vorhergesagten Klassenlabels zu erhalten, wird torch.argmax verwendet, um den Index des maximalen Werts entlang der Klassendimension zu extrahieren.
# Convert logits to predicted class labels
predicted_labels = torch.argmax(test_predictions, dim=1)
Berechnung von Metriken
Für Klassifikationsprobleme ist die Genauigkeit ein nützlicher Anfangswert, sofern der Datensatz ausgewogen ist.
# Calculate accuracy
correct_predictions = (predicted_labels == y_test).sum().item()
accuracy = correct_predictions / len(y_test) * 100
print(f"Test accuracy: {accuracy:.2f}%")
Wenn der Datensatz unausgewogen ist – das bedeutet, dass eine Klasse die anderen deutlich überwiegt – kann die Genauigkeit irreführend sein. Ein Modell, das immer die Mehrheitsklasse vorhersagt, kann eine hohe Genauigkeit erreichen, erfasst jedoch nicht die tatsächliche Leistung über alle Klassen hinweg.
Um ein tieferes Verständnis der Modellleistung zu erhalten, können zusätzliche Metriken wie Präzision, Recall und F1-Score berechnet werden. Weitere Informationen zu diesen Metriken und deren Formeln finden Sie in diesem Artikel, mit den jeweiligen Formeln.
Vollständige Implementierung
123456789101112131415161718import torch import os os.system('wget https://staging-content-media-cdn.codefinity.com/courses/1dd2b0f6-6ec0-40e6-a570-ed0ac2209666/section_3/model_training.py 2>/dev/null') from model_training import model, X_test, y_test # Set model to evaluation mode model.eval() # Disable gradient tracking with torch.no_grad(): # Forward pass test_predictions = model(X_test) # Get predicted classes predicted_labels = torch.argmax(test_predictions, dim=1) # Calculate accuracy correct_predictions = (predicted_labels == y_test).sum().item() accuracy = correct_predictions / len(y_test) * 100 print(f"Test accuracy: {accuracy:.2f}%")
Danke für Ihr Feedback!
Fragen Sie AI
Fragen Sie AI
Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen
Großartig!
Completion Rate verbessert auf 5Modellbewertung
Swipe um das Menü anzuzeigen
Vorbereitung auf die Auswertung
Vor Beginn des Auswertungsprozesses auf dem Testdatensatz sind folgende Punkte sicherzustellen:
-
Modell in den Evaluierungsmodus versetzen: Mit
model.eval()werden Funktionen wie Dropout und Batch-Normalisierung deaktiviert, um ein konsistentes Verhalten während der Auswertung zu gewährleisten; -
Deaktivieren des Gradienten-Trackings: Mit
torch.no_grad()wird Speicher gespart und die Berechnung beschleunigt, da während der Auswertung keine Gradienten benötigt werden.
# Set the model to evaluation mode
model.eval()
# Disable gradient computation for evaluation
with torch.no_grad():
# Forward pass on the test data
test_predictions = model(X_test)
Umwandlung von Vorhersagen
Wie bereits zuvor erwähnt, liefert das Modell Logits (Rohwerte) als Ausgabe. Um die vorhergesagten Klassenlabels zu erhalten, wird torch.argmax verwendet, um den Index des maximalen Werts entlang der Klassendimension zu extrahieren.
# Convert logits to predicted class labels
predicted_labels = torch.argmax(test_predictions, dim=1)
Berechnung von Metriken
Für Klassifikationsprobleme ist die Genauigkeit ein nützlicher Anfangswert, sofern der Datensatz ausgewogen ist.
# Calculate accuracy
correct_predictions = (predicted_labels == y_test).sum().item()
accuracy = correct_predictions / len(y_test) * 100
print(f"Test accuracy: {accuracy:.2f}%")
Wenn der Datensatz unausgewogen ist – das bedeutet, dass eine Klasse die anderen deutlich überwiegt – kann die Genauigkeit irreführend sein. Ein Modell, das immer die Mehrheitsklasse vorhersagt, kann eine hohe Genauigkeit erreichen, erfasst jedoch nicht die tatsächliche Leistung über alle Klassen hinweg.
Um ein tieferes Verständnis der Modellleistung zu erhalten, können zusätzliche Metriken wie Präzision, Recall und F1-Score berechnet werden. Weitere Informationen zu diesen Metriken und deren Formeln finden Sie in diesem Artikel, mit den jeweiligen Formeln.
Vollständige Implementierung
123456789101112131415161718import torch import os os.system('wget https://staging-content-media-cdn.codefinity.com/courses/1dd2b0f6-6ec0-40e6-a570-ed0ac2209666/section_3/model_training.py 2>/dev/null') from model_training import model, X_test, y_test # Set model to evaluation mode model.eval() # Disable gradient tracking with torch.no_grad(): # Forward pass test_predictions = model(X_test) # Get predicted classes predicted_labels = torch.argmax(test_predictions, dim=1) # Calculate accuracy correct_predictions = (predicted_labels == y_test).sum().item() accuracy = correct_predictions / len(y_test) * 100 print(f"Test accuracy: {accuracy:.2f}%")
Danke für Ihr Feedback!
