Delt datasett

Etter at et nevralt nettverk er trent, er det avgjørende å evaluere hvor godt det presterer på usett data. Denne evalueringen hjelper med å avgjøre om modellen har lært meningsfulle mønstre eller bare har husket treningsdataene. For å gjøre dette deles datasettet i to deler:

• Treningssett — brukes til å trene det nevrale nettverket ved å justere vekter og bias gjennom tilbakepropagering;
• Testsett — brukes etter trening for å evaluere hvor godt modellen generaliserer til ny, usett data.

En vanlig fordeling er 80 % til trening og 20 % til testing, selv om dette forholdet kan variere avhengig av datasettets størrelse og kompleksitet.

Datasplittingen utføres vanligvis med funksjonen train_test_split() fra modulen sklearn.model_selection:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=...)

Parameteren test_size bestemmer andelen data som reserveres til testing. For eksempel betyr test_size=0.1 at 10 % av dataene brukes til testing, mens 90 % brukes til trening.

Hvis modellen presterer godt på treningssettet, men dårlig på testsettet, kan det tyde på overtilpasning — at modellen lærer mønstre som er for spesifikke for treningsdataene i stedet for å generalisere til nye eksempler. Målet er å oppnå sterk ytelse på begge datasett, slik at modellen generaliserer godt.

Når dataene er delt og modellen er trent, bør ytelsen måles med passende evalueringsmetrikker, som avhenger av den spesifikke klassifiseringsoppgaven.

Klassifiseringsmetrikker

For klassifiseringsproblemer kan flere sentrale metrikker brukes for å evaluere modellens prediksjoner:

• Nøyaktighet;
• Presisjon;
• Recall;
• F1-score.

Siden en perseptron utfører binær klassifisering, vil det å lage en forvirringsmatrise hjelpe deg å forstå disse metrikkene bedre.

Nøyaktighet måler andelen korrekt klassifiserte prøver av det totale antallet. Hvis en modell korrekt klassifiserer 90 av 100 bilder, er nøyaktigheten 90%.

Selv om nøyaktighet er nyttig, gir det ikke alltid et fullstendig bilde—spesielt for ubalanserte datasett. For eksempel, i et datasett der 95% av prøvene tilhører én klasse, kan en modell oppnå 95% nøyaktighet bare ved å alltid forutsi majoritetsklassen—uten å faktisk lære noe nyttig. I slike tilfeller kan presisjon, recall eller F1-score være mer informative.

Presisjon er prosentandelen korrekt predikerte positive tilfeller av alle predikerte positive. Dette målet er spesielt nyttig når falske positiver er kostbare, som ved spamdeteksjon eller svindeldeteksjon.

Recall (sensitivitet) måler hvor mange av de faktiske positive tilfellene modellen korrekt identifiserer. Høy recall er avgjørende i situasjoner der falske negativer må minimeres, som ved medisinske diagnoser.

F1-score er det harmoniske gjennomsnittet av presisjon og tilbakekalling, og gir et balansert mål når både falske positiver og falske negativer er viktige. Dette er nyttig når datasettet er ubalansert, det vil si at én klasse forekommer betydelig oftere enn den andre.