Logistisk regression kræver kun, at computeren lærer de bedste parametre $β$. For at gøre dette skal vi definere, hvad "bedste parametre" betyder. Lad os genkalde, hvordan modellen fungerer; den forudsiger $p$ – sandsynligheden for at tilhøre klasse 1:

Hvor

Det er åbenlyst, at en model med gode parametre er den, der forudsiger en høj (tæt på 1) $p$ for observationer, der faktisk tilhører klasse 1, og en lav (tæt på 0) $p$ for observationer med den faktiske klasse 0.

For at måle hvor dårlig eller god modellen er, anvender vi en omkostningsfunktion. I lineær regression brugte vi MSE (mean squared error) som omkostningsfunktion. Denne gang anvendes en anden funktion:

Her repræsenterer $p$ sandsynligheden for at tilhøre klasse 1, som forudsagt af modellen, mens $y$ angiver den faktiske målte værdi.

Denne funktion straffer ikke kun forkerte forudsigelser, men tager også højde for modellens selvtillid i dens forudsigelser. Som illustreret i billedet ovenfor, når værdien af $p$ ligger tæt på $y$ (det faktiske mål), forbliver omkostningsfunktionen relativt lille, hvilket indikerer, at modellen med stor sikkerhed har valgt den korrekte klasse. Omvendt, hvis forudsigelsen er forkert, stiger omkostningsfunktionen eksponentielt, efterhånden som modellens selvtillid i den forkerte klasse vokser.

I forbindelse med binær klassifikation med en sigmoidfunktion anvendes en omkostningsfunktion, der specifikt kaldes binær krydsentropitab (binary cross-entropy loss), som vist ovenfor. Det er vigtigt at bemærke, at der også findes en generel form kendt som krydsentropitab (eller kategorisk krydsentropi), der bruges til multiklasse klassifikationsproblemer.

Den kategoriske krydsentropitab for en enkelt træningsinstans beregnes som følger:

Hvor

• $C$ er antallet af klasser;
• $y_i$ er den faktiske målte værdi (1 hvis klassen er den korrekte klasse, 0 ellers);
• $p_i$ er den forudsagte sandsynlighed for, at instansen tilhører klasse $i$.

Vi beregner tabfunktionen for hver træningsinstans og tager gennemsnittet. Dette gennemsnit kaldes omkostningsfunktionen. Logistisk regression finder de parametre $\beta$, der minimerer omkostningsfunktionen.