Når vi opbygger en model, har vi brug for en metrisk, der måler, hvor godt den passer til dataene. En metrik giver en numerisk score, der beskriver modellens ydeevne. I dette kapitel fokuserer vi på de mest almindelige.

Vi vil bruge følgende notation:

Vi er allerede bekendt med én metrik, SSR (Sum of Squared Residuals), som vi minimerede for at identificere de optimale parametre.
Ved hjælp af vores notation kan vi udtrykke formlen for SSR som følger:

eller tilsvarende:

Denne metrik fungerede kun, når modeller brugte det samme antal datapunkter. Den viser ikke, hvor godt en model reelt præsterer. Forestil dig to modeller, der er trænet på datasæt af forskellig størrelse.

Den første model passer bedre visuelt, men har en højere SSR, fordi den har flere punkter, så summen stiger selv med mindre gennemsnitlige residualer. Ved at bruge gennemsnittet af kvadrerede residualer løses dette — Mean Squared Error (MSE).

MSE

eller tilsvarende:

Beregn MSE med NumPy:

mse = np.mean((y_true - y_pred)**2)

Eller Scikit-learn:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

MSE er kvadreret, hvilket gør fortolkningen vanskeligere. Hvis MSE er 49 dollars², ønsker vi fejlen i dollars. At tage kvadratroden giver 7 — Root Mean Squared Error (RMSE).

RMSE

Beregn RMSE ved hjælp af:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

Eller Scikit-learn:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

I stedet for at kvadrere residualerne kan vi tage deres absolutte værdier — dette giver Mean Absolute Error (MAE).

eller lige så

MAE opfører sig som MSE, men håndterer store fejl mere skånsomt. Da den anvender absolutte værdier, er den mere robust over for outliers, hvilket gør den nyttig, når ekstreme værdier forvrænger datasættet.

Beregn MAE:

mae = np.mean(np.fabs(y_true - y_pred))

Eller:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR hjalp os med at udlede den normale ligning, men enhver metrisk kan bruges, når modeller sammenlignes.

Nu kan du med sikkerhed sige, at den anden model er bedre, da alle dens metrikker er lavere. Dog betyder lavere metrikker ikke altid, at modellen er bedre.