Logistisk regresjon krever kun at datamaskinen lærer de beste parameterne $β$. For dette må vi definere hva "beste parametere" betyr. La oss repetere hvordan modellen fungerer; den predikerer $p$ – sannsynligheten for å tilhøre klasse 1:

Hvor

Åpenbart er modellen med gode parametere den som predikerer høy (nær 1) $p$ for tilfeller som faktisk tilhører klasse 1, og lav (nær 0) $p$ for tilfeller med faktisk klasse 0.

For å måle hvor dårlig eller god modellen er, bruker vi en kostnadsfunksjon. I lineær regresjon brukte vi MSE (mean squared error) som kostnadsfunksjon. Denne gangen brukes en annen funksjon:

Her representerer $p$ sannsynligheten for å tilhøre klasse 1, slik modellen predikerer, mens $y$ angir den faktiske målverdien.

Denne funksjonen straffer ikke bare feilaktige prediksjoner, men tar også hensyn til modellens selvtillit i sine prediksjoner. Som illustrert i bildet ovenfor, når verdien av $p$ ligger nær $y$ (den faktiske målverdien), forblir kostnadsfunksjonen relativt liten, noe som indikerer at modellen med høy selvtillit valgte riktig klasse. Omvendt, hvis prediksjonen er feil, øker kostnadsfunksjonen eksponentielt etter hvert som modellens selvtillit i feil klasse øker.

I sammenheng med binær klassifisering med en sigmoid-funksjon, brukes en kostnadsfunksjon som spesifikt kalles binær krysstapsfunksjon (binary cross-entropy loss), som vist ovenfor. Det er viktig å merke seg at det også finnes en generell form kjent som krysstapsfunksjon (eller kategorisk krysstap) som brukes for multiklasse klassifiseringsproblemer.

Den kategoriske krysstapsfunksjonen for én treningsinstans beregnes som følger:

Hvor

• $C$ er antall klasser;
• $y_i$ er den faktiske målverdien (1 hvis klassen er korrekt, 0 ellers);
• $p_i$ er den predikerte sannsynligheten for at instansen tilhører klasse $i$.

Vi beregner tapfunksjonen for hver treningsinstans og tar gjennomsnittet. Dette gjennomsnittet kalles kostnadsfunksjonen. Logistisk regresjon finner parameterne $\beta$ som minimerer kostnadsfunksjonen.