Logistisk regression kræver kun, at computeren lærer de bedste parametre $β$. For at gøre dette skal vi definere, hvad "bedste parametre" betyder. Lad os genkalde, hvordan modellen fungerer; den forudsiger $p$ - sandsynligheden for at tilhøre klasse 1:

Hvor

Det er klart, at en model med gode parametre er den, der forudsiger en høj (tæt på 1) $p$ for observationer, der faktisk tilhører klasse 1, og en lav (tæt på 0) $p$ for observationer med den faktiske klasse 0.

For at måle hvor dårlig eller god modellen er, anvendes en omkostningsfunktion. Ved lineær regression brugte vi MSE (middel kvadreret fejl) som omkostningsfunktion. Denne gang anvendes en anden funktion:

Her repræsenterer $p$ sandsynligheden for at tilhøre klasse 1, som forudsagt af modellen, mens $y$ angiver den faktiske målværdi.

Denne funktion straffer ikke kun forkerte forudsigelser, men tager også højde for modellens selvsikkerhed i dens forudsigelser. Som illustreret i billedet ovenfor, når værdien af $p$ ligger tæt på $y$ (den faktiske målværdi), forbliver omkostningsfunktionen relativt lille, hvilket indikerer, at modellen med stor sikkerhed har valgt den korrekte klasse. Omvendt, hvis forudsigelsen er forkert, stiger omkostningsfunktionen eksponentielt, efterhånden som modellens selvsikkerhed i den forkerte klasse vokser.

I forbindelse med binær klassifikation med en sigmoidfunktion kaldes den anvendte omkostningsfunktion specifikt for binær krydstabstab (binary cross-entropy loss), som vist ovenfor. Det er vigtigt at bemærke, at der også findes en generel form kaldet krydstabstab (eller kategorisk krydstabstab), som bruges til multiklasse klassifikationsproblemer.

Den kategoriske krydstabstab for en enkelt træningsinstans beregnes som følger:

Hvor

• $C$ er antallet af klasser;
• $y_i$ er den faktiske målværdi (1 hvis klassen er den korrekte klasse, 0 ellers);
• $p_i$ er den forudsagte sandsynlighed for, at instansen tilhører klasse $i$.

Vi beregner tabfunktionen for hver træningsinstans og tager gennemsnittet. Dette gennemsnit kaldes omkostningsfunktionen. Logistisk regression finder de parametre $\beta$, der minimerer omkostningsfunktionen.