Når vi bygger en modell, trenger vi en metrikk som måler hvor godt den passer til dataene. En metrikk gir en numerisk score som beskriver modellens ytelse. I dette kapittelet fokuserer vi på de vanligste.

Vi vil bruke følgende notasjon:

Vi er allerede kjent med én metrikk, SSR (Sum of Squared Residuals), som vi minimerte for å identifisere de optimale parameterne.
Med vår notasjon kan vi uttrykke formelen for SSR slik:

eller tilsvarende:

Denne metrikken fungerer kun når modellene bruker samme antall datapunkter. Den viser ikke hvor godt en modell faktisk presterer. Tenk deg to modeller trent på datasett av ulik størrelse.

Den første modellen passer bedre visuelt, men har høyere SSR fordi den har flere punkter, så summen øker selv med mindre gjennomsnittlige residualer. Å bruke gjennomsnittet av kvadrerte residualer løser dette — Mean Squared Error (MSE).

MSE

eller tilsvarende:

Beregn MSE med NumPy:

mse = np.mean((y_true - y_pred)**2)

Eller Scikit-learn:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

MSE er kvadrert, noe som gjør tolkningen vanskeligere. Hvis MSE er 49 dollar², ønsker vi feilen i dollar. Å ta kvadratroten gir 7 — Root Mean Squared Error (RMSE).

RMSE

Beregn RMSE ved å bruke:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

Eller Scikit-learn:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

I stedet for å kvadrere residualene, kan vi ta deres absolutte verdier — dette gir Mean Absolute Error (MAE).

eller tilsvarende

MAE oppfører seg som MSE, men håndterer store feil mer skånsomt. Fordi den bruker absolutte verdier, er den mer robust mot uteliggere, noe som gjør den nyttig når ekstreme verdier påvirker datasettet.

Beregn MAE:

mae = np.mean(np.fabs(y_true - y_pred))

Eller:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR hjalp oss med å utlede den normale ligningen, men enhver metrikk kan brukes når man sammenligner modeller.

Nå kan du helt sikkert si at den andre modellen er bedre siden alle dens måleverdier er lavere. Likevel betyr ikke lavere måleverdier alltid at modellen er bedre.