Logistisk regression kräver endast att datorn lär sig de bästa parametrarna $β$. För detta behöver vi definiera vad "bästa parametrar" innebär. Låt oss repetera hur modellen fungerar; den förutspår $p$ – sannolikheten att tillhöra klass 1:

Där

Uppenbarligen är modellen med bra parametrar den som förutspår höga (nära 1) $p$ för instanser som faktiskt tillhör klass 1 och låga (nära 0) $p$ för instanser med faktisk klass 0.

För att mäta hur dålig eller bra modellen är använder vi en kostnadsfunktion. Vid linjär regression använde vi MSE (medelkvadratiskt fel) som kostnadsfunktion. Den här gången används en annan funktion:

Här representerar $p$ sannolikheten att tillhöra klass 1, som förutsägs av modellen, medan $y$ betecknar det faktiska målvariabelvärdet.

Denna funktion straffar inte bara felaktiga förutsägelser utan tar även hänsyn till modellens säkerhet i sina förutsägelser. Som illustrerat i bilden ovan, när värdet på $p$ ligger nära $y$ (det faktiska målet), förblir kostnadsfunktionen relativt liten, vilket indikerar att modellen med säkerhet valde rätt klass. Omvänt, om förutsägelsen är felaktig, ökar kostnadsfunktionen exponentiellt i takt med att modellens säkerhet i den felaktiga klassen ökar.

I samband med binär klassificering med en sigmoidfunktion används en kostnadsfunktion som specifikt kallas binär korsentropiförlust, vilket visades ovan. Det är viktigt att notera att det även finns en allmän form, känd som korsentropiförlust (eller kategorisk korsentropi), som används för flerklass-klassificeringsproblem.

Den kategoriska korsentropiförlusten för ett enskilt träningsfall beräknas enligt följande:

Där

• $C$ är antalet klasser;
• $y_i$ är det faktiska målvariabelvärdet (1 om klassen är korrekt, 0 annars);
• $p_i$ är den förutsagda sannolikheten att instansen tillhör klass $i$.

Vi beräknar förlustfunktionen för varje träningsinstans och tar medelvärdet. Detta medelvärde kallas kostnadsfunktionen. Logistisk regression hittar parametrarna $\beta$ som minimerar kostnadsfunktionen.