Bij het bouwen van een model hebben we een maatstaf nodig die aangeeft hoe goed het model bij de data past. Een maatstaf geeft een numerieke score die de modelprestatie beschrijft. In dit hoofdstuk richten we ons op de meest gangbare maatstaven.

We gebruiken de volgende notatie:

We zijn al bekend met één maatstaf, SSR (Sum of Squared Residuals), die we hebben geminimaliseerd om de optimale parameters te bepalen.
Met onze notatie kunnen we de formule voor SSR als volgt uitdrukken:

of gelijkwaardig:

Deze maatstaf werkt alleen wanneer modellen hetzelfde aantal datapunten gebruiken. Het geeft niet weer hoe goed een model daadwerkelijk presteert. Stel je twee modellen voor die zijn getraind op datasets van verschillende grootte.

Het eerste model past visueel beter, maar heeft een hogere SSR omdat het meer punten bevat, waardoor de som toeneemt, zelfs bij kleinere gemiddelde residuen. Het gebruik van het gemiddelde van de gekwadrateerde residuen lost dit op — de Mean Squared Error (MSE).

MSE

of gelijkwaardig:

Bereken MSE met NumPy:

mse = np.mean((y_true - y_pred)**2)

Of Scikit-learn:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

MSE is gekwadrateerd, wat interpretatie moeilijker maakt. Als MSE 49 dollars² is, willen we de fout in dollars. De wortel nemen geeft 7 — de Root Mean Squared Error (RMSE).

RMSE

Bereken RMSE met behulp van:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

Of Scikit-learn:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

In plaats van de residuen te kwadrateren, kunnen we hun absolute waarden nemen — dit levert de Mean Absolute Error (MAE) op.

of gelijkwaardig

MAE gedraagt zich vergelijkbaar met MSE, maar behandelt grote fouten milder. Omdat het absolute waarden gebruikt, is het robuuster tegen uitschieters, waardoor het nuttig is wanneer extreme waarden de dataset beïnvloeden.

Bereken MAE:

mae = np.mean(np.fabs(y_true - y_pred))

Of:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR hielp ons bij het afleiden van de Normale Vergelijking, maar elke metriek kan worden gebruikt bij het vergelijken van modellen.

Nu kun je met zekerheid zeggen dat het tweede model beter is, aangezien al zijn metriekwaarden lager zijn. Lagere metriekwaarden betekenen echter niet altijd dat het model beter is.