Finding af Parametrene

Logistisk regression kræver kun, at computeren lærer de bedste parametre $β$. For at gøre dette skal vi definere, hvad "bedste parametre" betyder. Lad os genkalde, hvordan modellen fungerer; den forudsiger $p$ – sandsynligheden for at tilhøre klasse 1:

Hvor

Det er tydeligt, at en model med gode parametre er en, der forudsiger en høj (tæt på 1) $p$ for observationer, der faktisk tilhører klasse 1, og en lav (tæt på 0) $p$ for observationer med den faktiske klasse 0.

For at måle, hvor dårlig eller god modellen er, anvendes en omkostningsfunktion. I lineær regression blev MSE (mean squared error) brugt som omkostningsfunktion. Denne gang anvendes en anden funktion:

Her repræsenterer $p$ sandsynligheden for at tilhøre klasse 1, som forudsagt af modellen, mens $y$ angiver den faktiske målværdi.

Denne funktion straffer ikke kun forkerte forudsigelser, men tager også højde for modellens selvsikkerhed i dens forudsigelser. Som illustreret i billedet ovenfor, når værdien af $p$ ligger tæt på $y$ (den faktiske målværdi), forbliver omkostningsfunktionen relativt lille, hvilket indikerer, at modellen sikkert har valgt den korrekte klasse. Omvendt, hvis forudsigelsen er forkert, stiger omkostningsfunktionen eksponentielt, efterhånden som modellens selvsikkerhed i den forkerte klasse vokser.

I forbindelse med binær klassifikation med en sigmoidfunktion anvendes en omkostningsfunktion, der specifikt kaldes binær krydstabstab (binary cross-entropy loss), som vist ovenfor. Det er vigtigt at bemærke, at der også findes en generel form kaldet krydstabstab (eller kategorisk krydstabstab), som bruges til multiklasse klassifikationsproblemer.

Den kategoriske krydstabstab for en enkelt træningsinstans beregnes som følger:

Hvor

• $C$ er antallet af klasser;
• $y_i$ er den faktiske målte værdi (1 hvis klassen er den korrekte klasse, 0 ellers);
• $p_i$ er den forudsagte sandsynlighed for, at instansen tilhører klasse $i$.

Omkostningsfunktionen beregnes for hver træningsinstans, og gennemsnittet tages. Dette gennemsnit kaldes omkostningsfunktionen. Logistisk regression finder de parametre $\beta$, der minimerer omkostningsfunktionen.