Hitta Parametrarna

Logistisk regression kräver endast att datorn lär sig de bästa parametrarna $β$. För detta behöver vi definiera vad "bästa parametrar" betyder. Låt oss repetera hur modellen fungerar, den förutspår $p$ – sannolikheten att tillhöra klass 1:

Där

Uppenbarligen är modellen med bra parametrar den som förutspår höga (nära 1) $p$ för instanser som faktiskt tillhör klass 1 och låga (nära 0) $p$ för instanser med faktisk klass 0.

För att mäta hur dålig eller bra modellen är använder vi en kostnadsfunktion. Vid linjär regression använde vi MSE (medelkvadratfel) som kostnadsfunktion. Den här gången används en annan funktion:

Här representerar $p$ sannolikheten att tillhöra klass 1, som förutsägs av modellen, medan $y$ anger det faktiska målvariabelvärdet.

Denna funktion straffar inte bara felaktiga förutsägelser utan tar även hänsyn till modellens säkerhet i sina förutsägelser. Som illustrerat i bilden ovan, när värdet på $p$ ligger nära $y$ (det faktiska målet), förblir kostnadsfunktionen relativt liten, vilket indikerar att modellen med säkerhet valt rätt klass. Omvänt, om förutsägelsen är felaktig, ökar kostnadsfunktionen exponentiellt i takt med att modellens säkerhet i den felaktiga klassen ökar.

I samband med binär klassificering med en sigmoidfunktion används kostnadsfunktionen som specifikt kallas binär korsentropiförlust, vilket visades ovan. Det är viktigt att notera att det också finns en allmän form som kallas korsentropiförlust (eller kategorisk korsentropi) som används för flerklass-klassificeringsproblem.

Den kategoriska korsentropiförlusten för ett enskilt träningsfall beräknas enligt följande:

Där

• $C$ är antalet klasser;
• $y_i$ är det faktiska målvärdet (1 om klassen är korrekt, annars 0);
• $p_i$ är den predicerade sannolikheten att instansen tillhör klass $i$.

Vi beräknar förlustfunktionen för varje träningsinstans och tar medelvärdet. Detta medelvärde kallas kostnadsfunktionen. Logistisk regression hittar parametrarna $\beta$ som minimerar kostnadsfunktionen.