Beim Erstellen eines Modells benötigen wir eine Metrik, die misst, wie gut es zu den Daten passt. Eine Metrik liefert eine numerische Bewertung der Modellleistung. In diesem Kapitel konzentrieren wir uns auf die gebräuchlichsten Metriken.

Wir verwenden die folgende Notation:

Wir sind bereits mit einer Metrik vertraut, SSR (Sum of Squared Residuals), die wir minimiert haben, um die optimalen Parameter zu bestimmen.
Mit unserer Notation können wir die Formel für SSR wie folgt ausdrücken:

oder gleichwertig:

Diese Kennzahl funktionierte nur, wenn die Modelle die gleiche Anzahl an Datenpunkten verwendeten. Sie zeigt nicht, wie gut ein Modell tatsächlich arbeitet. Stellen Sie sich zwei Modelle vor, die auf Datensätzen unterschiedlicher Größe trainiert wurden.

Das erste Modell passt visuell besser, hat jedoch einen höheren SSR, da es mehr Punkte enthält und somit die Summe auch bei kleineren durchschnittlichen Residuen steigt. Die Verwendung des Durchschnitts der quadrierten Residuen behebt dieses Problem — der Mean Squared Error (MSE).

MSE

oder gleichwertig:

Berechnung des MSE mit NumPy:

mse = np.mean((y_true - y_pred)**2)

Oder mit Scikit-learn:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

Der MSE ist quadriert, was die Interpretation erschwert. Wenn der MSE 49 Dollar² beträgt, möchten wir den Fehler in Dollar angeben. Die Wurzel ergibt 7 — den Root Mean Squared Error (RMSE).

RMSE

Berechnung des RMSE mit:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

Oder mit Scikit-learn:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

Anstelle der Quadrierung der Residuen können deren Beträge verwendet werden — dies ergibt den mittleren absoluten Fehler (MAE).

oder gleichwertig

MAE verhält sich ähnlich wie MSE, behandelt jedoch große Fehler weniger streng. Da absolute Werte verwendet werden, ist MAE robuster gegenüber Ausreißern und eignet sich daher, wenn extreme Werte den Datensatz verzerren.

Berechnung von MAE:

mae = np.mean(np.fabs(y_true - y_pred))

Oder:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR half uns geholfen, die normale Gleichung abzuleiten, aber jede beliebige Metrik kann beim Vergleich von Modellen verwendet werden.

Nun können Sie sicher feststellen, dass das zweite Modell besser ist, da alle seine Metriken niedriger sind. Allerdings bedeuten niedrigere Metriken nicht immer, dass das Modell besser ist.