Hva er logistisk regresjon

Logistisk regresjon er faktisk en klassifiseringsalgoritme, til tross for ordet "regresjon" i navnet.

Den har fått navnet sitt fordi den er basert på lineær regresjon, men bruker en logistisk (sigmoid) funksjon for å konvertere resultatet til sannsynligheter, slik at den kan klassifisere data i kategorier i stedet for å forutsi kontinuerlige verdier.

Anta at du ønsker å forutsi om en person vil misligholde et første lån (ingen kreditt-historikk tilgjengelig).

I lineær regresjon bygger vi en ligning for å forutsi numeriske verdier. Vi kan bruke den samme ligningen til å beregne en "pålitelighetsscore". Den vil ta hensyn til egenskaper som inntekt, varighet av nåværende ansettelse, gjeldsgrad, osv. En høyere pålitelighetsscore betyr en lavere sannsynlighet for mislighold.

$\beta$-verdiene er parameterne som modellen må lære. Under trening justerer datamaskinen disse verdiene for å gjøre bedre prediksjoner. Dette gjøres ved å minimere forskjellen mellom de predikerte resultatene og de faktiske etikettene – denne forskjellen måles med noe som kalles tapfunksjonen.

For å gjøre modellens rå output om til en klasseetikett (0 eller 1), bruker logistisk regresjon en sigmoidfunksjon. Denne funksjonen tar et hvilket som helst reelt tall og presser det inn i et område mellom 0 og 1, slik at det kan tolkes som en sannsynlighet.

Sigmoidfunksjonen er definert som:

Her er $z$ scoren (også kalt logit) som vi tidligere har beregnet.

Gitt to klasser: 1 (en person vil misligholde et første lån) og 0 (en person vil ikke misligholde et første lån), får vi etter å ha brukt sigmoidfunksjonen sannsynligheten for at instansen tilhører klasse 1.

For å ta en endelig beslutning (0 eller 1), sammenlignes sannsynligheten med en terskel – vanligvis 0,5:

• Hvis sannsynligheten er større enn 0,5, predikeres 1;
• Hvis den er mindre enn eller lik 0,5, predikeres 0.