Metriken

Beim Erstellen eines Modells benötigen wir eine Metrik, die misst, wie gut es zu den Daten passt. Eine Metrik liefert eine numerische Bewertung der Modellleistung. In diesem Kapitel konzentrieren wir uns auf die gebräuchlichsten Metriken.

Wir verwenden die folgende Notation:

Wir sind bereits mit einer Metrik vertraut, SSR (Sum of Squared Residuals), die wir minimiert haben, um die optimalen Parameter zu bestimmen.
Mit unserer Notation können wir die Formel für SSR wie folgt ausdrücken:

oder gleichwertig:

Diese Kennzahl funktioniert nur, wenn Modelle die gleiche Anzahl an Datenpunkten verwenden. Sie zeigt nicht, wie gut ein Modell tatsächlich abschneidet. Stellen Sie sich zwei Modelle vor, die mit Datensätzen unterschiedlicher Größe trainiert wurden.

Das erste Modell passt visuell besser, hat jedoch einen höheren SSR, da es mehr Datenpunkte enthält und somit die Summe auch bei kleineren durchschnittlichen Residuen steigt. Die Verwendung des Durchschnitts der quadrierten Residuen behebt dieses Problem — der Mean Squared Error (MSE).

MSE

oder gleichwertig:

Berechnung des MSE mit NumPy:

mse = np.mean((y_true - y_pred)**2)

Oder mit Scikit-learn:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

MSE ist quadriert, was die Interpretation erschwert. Wenn der MSE 49 Dollar² beträgt, möchten wir den Fehler in Dollar angeben. Die Wurzel ergibt 7 — den Root Mean Squared Error (RMSE).

RMSE

Berechnung des RMSE mit:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

Oder mit Scikit-learn:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

Anstelle der Quadrierung der Residuen können wir deren Beträge nehmen — dies ergibt den mittleren absoluten Fehler (MAE).

oder gleichwertig

MAE verhält sich ähnlich wie MSE, behandelt jedoch große Fehler weniger streng. Da absolute Werte verwendet werden, ist MAE robuster gegenüber Ausreißern und eignet sich daher, wenn extreme Werte den Datensatz verzerren.

MAE berechnen:

mae = np.mean(np.fabs(y_true - y_pred))

Oder:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR half uns, die Normalengleichung abzuleiten, aber jede beliebige Metrik kann beim Vergleich von Modellen verwendet werden.

Nun lässt sich eindeutig feststellen, dass das zweite Modell besser ist, da alle seine Metriken niedriger sind. Allerdings bedeuten niedrigere Metriken nicht immer, dass das Modell besser ist.