Indtil nu har vi brugt nøjagtighed som den primære måling til at evaluere modellens præstation. Dog har nøjagtighed visse begrænsninger. Lad os nu diskutere dens ulemper og introducere flere yderligere målinger – baseret på TP, TN, FP og FN – som hjælper med at håndtere disse problemer.

Nøjagtighed

Nøjagtighed repræsenterer andelen af korrekte forudsigelser:

Dog har nøjagtighed sine ulemper. Forestil dig for eksempel, at du forsøger at forudsige, om en patient har en sjælden sygdom. Datasættet indeholder 99,9% raske patienter og kun 0,1% med sygdommen. I dette tilfælde ville det altid at forudsige, at patienten er rask, resultere i en nøjagtighed på 0,999 – selvom en sådan model er fuldstændig ubrugelig.

Datasæt som dette kaldes ubalancerede, og i sådanne tilfælde er balanceret nøjagtighed en bedre måling at anvende.

Balanceret nøjagtighed

Balanceret nøjagtighed beregner andelen af korrekte positive forudsigelser og andelen af korrekte negative forudsigelser separat, og gennemsnitliggør derefter disse. Denne tilgang giver lige stor betydning til hver klasse, uanset hvor ubalanceret datasættet er.

Hvor

• $\text{P} = \textcolor{green}{\text{TP}} + \textcolor{red}{\text{FN}}$ – samlet antal positive forekomster (klasse 1);
• $\text{N} = \textcolor{green}{\text{TN}} + \textcolor{red}{\text{FP}}$ – samlet antal positive forekomster (klasse 0).

I eksemplet med sjælden sygdom vil den balancerede nøjagtighed for en model, der altid forudsiger "sund", være 0,5 – hvilket effektivt fremhæver problemet. Dette problem bliver altså adresseret.

Dog skelner balanceret nøjagtighed stadig ikke mellem type 1 og type 2 fejl – ligesom almindelig nøjagtighed. Det er her, præcision og recall kommer ind.

Præcision

Målingen præcision angiver, hvor mange af de værdier, som modellen har forudsagt som positive, der faktisk var positive. Det er andelen af sande positive forudsigelser ud af alle positive forudsigelser, som modellen har lavet:

Ved at anvende præcisionsmetrikken kan vi forstå, hvor ofte en type 1-fejl opstår. Høj præcision betyder, at type 1-fejl er sjældne, mens lav præcision indikerer, at type 1-fejl forekommer hyppigt.

Recall

Recall-metrikken viser andelen af faktiske positive tilfælde, som modellen korrekt har forudsagt:

Recall-metrikken hjælper os med at forstå, hvor ofte en type 2-fejl opstår. Høj recall betyder, at type 2-fejl er sjældne, mens lav recall betyder, at de forekommer hyppigt.

Dog har både præcision og recall begrænsninger. For eksempel vil en model, der kun forudsiger den positive klasse (1), opnå perfekt recall, men dens præcision vil være dårlig. Omvendt vil en model, der korrekt forudsiger blot én positiv forekomst og mærker alt andet som negativt, have perfekt præcision, men elendig recall.

Dette viser, at det er let at bygge en model med perfekt præcision eller perfekt recall, men langt sværere at bygge en, der klarer sig godt på begge områder. Derfor er det vigtigt at tage begge metrikker i betragtning – og heldigvis findes der en metrik, der kombinerer dem.

F1-score

F1-score er det harmoniske gennemsnit af præcision og recall. Det harmoniske gennemsnit foretrækkes frem for det almindelige (aritmetiske) gennemsnit, fordi det straffer situationer, hvor en af værdierne (enten præcision eller recall) er lav, hvilket gør det til et mere balanceret mål for modellens ydeevne.

F1-score kombinerer både præcision og recall i én enkelt måling. Den vil kun være høj, hvis både præcision og recall er relativt høje, hvilket gør den til et nyttigt mål, når der skal opnås balance mellem begge typer fejl.

Valg af den rette måling afhænger af den specifikke opgave. Nøjagtighed (eller balanceret nøjagtighed for ubalancerede datasæt) er intuitiv og giver et generelt indtryk af modellens samlede ydeevne. Hvis der ønskes mere detaljeret indsigt i de typer fejl, modellen laver, hjælper præcision med at identificere type 1-fejl, mens recall fremhæver type 2-fejl. F1-score viser, hvor velbalanceret modellen er i forhold til både type 1- og type 2-fejl.

Metrikker i Python

Scikit-learn tilbyder implementeringer af alle disse metrikker i modulet sklearn.metrics:

from sklearn.metrics import accuracy_score, balanced_accuracy_score, precision_score, recall_score, f1_score

accuracy = accuracy_score(y_true, y_pred)
balanced_accuracy = balanced_accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)

Hvis du ønsker at få metrikker som precision, recall og F1-score på én gang, tilbyder sklearn funktionen classification_report():