Logistinen regressio on itse asiassa luokittelualgoritmi, vaikka sen nimessä esiintyy sana "regressio".

Nimi johtuu siitä, että se perustuu lineaariseen regressioon, mutta käyttää logistista (sigmoidista) funktiota muuntaakseen tuloksen todennäköisyyksiksi, jolloin se voi luokitella dataa kategorioihin jatkuvien arvojen ennustamisen sijaan.

Oletetaan, että halutaan ennustaa, tuleeko henkilö jättämään maksamatta ensimmäisen lainansa (ei luottohistoriaa saatavilla).

Lineaarisessa regressiossa rakennetaan yhtälö numeeristen arvojen ennustamiseen. Samaa yhtälöä voidaan käyttää laskemaan "luotettavuuspisteet". Siinä otetaan huomioon esimerkiksi tulot, nykyisen työsuhteen kesto, velkaantumisaste jne. Korkeampi luotettavuuspiste tarkoittaa pienempää maksulaiminlyönnin riskiä.

Arvot $\beta$ ovat parametreja, jotka mallin täytyy oppia. Koulutuksen aikana tietokone säätää näitä arvoja tehdäkseen parempia ennusteita. Se tekee tämän yrittämällä minimoida erotuksen ennustettujen tulosten ja todellisten luokkien välillä – tätä erotusta mitataan niin sanotulla häviöfunktiolla.

Muuntaakseen mallin raakatuloksen luokkamerkinnäksi (0 tai 1), logistinen regressio käyttää sigmoidifunktiota. Tämä funktio ottaa minkä tahansa reaaliluvun ja puristaa sen arvoalueelle 0 ja 1 välille, jolloin sitä voidaan tulkita todennäköisyytenä.

Sigmoidifunktio määritellään seuraavasti:

Tässä $z$ on pistemäärä (myös logit), jonka laskimme aiemmin.

Kun on kaksi luokkaa: 1 (henkilö jättää ensimmäisen lainan maksamatta) ja 0 (henkilö ei jätä ensimmäistä lainaa maksamatta), sigmoidin soveltamisen jälkeen saadaan todennäköisyys, että havainto kuuluu luokkaan 1.

Lopullisen päätöksen tekemiseksi (0 tai 1) verrataan todennäköisyyttä kynnykseen – yleensä 0,5:

• Jos todennäköisyys on suurempi kuin 0,5, ennustetaan 1;
• Jos se on pienempi tai yhtä suuri kuin 0,5, ennustetaan 0.