Når vi trener et nevralt nettverk, trenger vi en måte å måle hvor godt modellen vår presterer. Dette gjøres ved hjelp av en tapfunksjon, som kvantifiserer forskjellen mellom de predikerte utgangene og de faktiske målverdiene. Målet med treningen er å minimere dette tapet, slik at prediksjonene våre blir så nær de faktiske verdiene som mulig.

En av de mest brukte tapfunksjonene for binær klassifisering er kryssentropi-tapet, som fungerer godt med modeller som gir sannsynligheter som utdata.

Utledning av kryssentropi-tap

For å forstå kryssentropi-tap, starter vi med maksimum likelihood-prinsippet. I et binært klassifiseringsproblem er målet å trene en modell som estimerer sannsynligheten $\hat{y}$ for at en gitt input tilhører klasse 1. Den faktiske etiketten $y$ kan være enten 0 eller 1.

En god modell bør maksimere sannsynligheten for å korrekt predikere alle treningsdataene. Dette betyr at vi ønsker å maksimere likelihood-funksjonen, som representerer sannsynligheten for å observere de faktiske dataene gitt modellens prediksjoner.

For et enkelt trenings-eksempel, gitt uavhengighet, kan likelihood skrives som:

Dette uttrykket betyr ganske enkelt:

• Hvis $y = 1$, da er $P(y|x) = \hat{y}$, altså ønsker vi å maksimere $\hat{y}$ (sannsynligheten tildelt klasse 1);
• Hvis $y = 0$, da er $P(y|x) = 1 - \hat{y}$, altså ønsker vi å maksimere $1 - \hat{y}$ (sannsynligheten tildelt klasse 0).

For å gjøre optimaliseringen enklere, bruker vi log-sannsynlighet i stedet for selve sannsynligheten (siden logaritmer gjør produkter om til summer, noe som forenkler derivasjon):

Siden målet er maksimering, defineres tapfunksjonen som negativ log-sannsynlighet, som vi ønsker å minimere:

Dette er binær kryssentropi-tapsfunksjonen, ofte brukt for klassifiseringsproblemer.

Gitt at variabelen output representerer $\hat{y}$ for et bestemt trenings-eksempel, og variabelen target representerer $y$ for dette trenings-eksemplet, kan denne tapsfunksjonen implementeres slik:

import numpy as np

loss = -(target * np.log(output) + (1 - target) * np.log(1 - output))

Hvorfor denne formelen?

Kryssentropi-tap har en tydelig intuitiv tolkning:

• Hvis $y = 1$, forenkles tapet til $-\log(\hat{y})$, noe som betyr at tapet er lavt når $\hat{y}$ er nær 1 og svært høyt når $\hat{y}$ er nær 0;
• Hvis $y = 0$, forenkles tapet til $-\log(1 - \hat{y})$, noe som betyr at tapet er lavt når $\hat{y}$ er nær 0 og svært høyt når det er nær 1.

Siden logaritmer blir negativt store når deres input nærmer seg null, blir feil prediksjoner sterkt straffet, noe som oppmuntrer modellen til å gjøre selvsikre og korrekte prediksjoner.

Hvis flere eksempler sendes gjennom fremoverpropagering, beregnes det totale tapet som gjennomsnittlig tap på tvers av alle eksempler:

hvor $N$ er antall trenings-eksempler.