Parametrien Löytäminen

Logistinen regressio vaatii tietokoneelta vain parhaiden parametrien $β$ oppimista. Tätä varten on määriteltävä, mitä "parhaat parametrit" tarkoittavat. Palataanpa mallin toimintaan: se ennustaa $p$ - todennäköisyyden kuulua luokkaan 1:

Missä

Ilmeisesti malli, jolla on hyvät parametrit, ennustaa korkean (lähellä 1) $p$ arvo niille havainnoille, jotka todella kuuluvat luokkaan 1, ja matalan (lähellä 0) $p$ arvo niille havainnoille, joiden todellinen luokka on 0.

Mallin hyvyyden tai huonouden mittaamiseen käytetään kustannusfunktiota. Lineaarisessa regressiossa käytettiin MSE:tä (mean squared error) kustannusfunktiona. Tällä kertaa käytetään eri funktiota:

Tässä $p$ edustaa mallin ennustamaa todennäköisyyttä kuulua luokkaan 1, kun taas $y$ tarkoittaa todellista tavoitearvoa.

Tämä funktio ei ainoastaan rankaise vääriä ennusteita, vaan ottaa huomioon myös mallin varmuuden ennusteissaan. Kuten yllä olevasta kuvasta nähdään, kun $p$ on lähellä $y$:tä (todellinen tavoite), kustannusfunktio pysyy melko pienenä, mikä osoittaa, että malli valitsi oikean luokan luottavaisesti. Jos ennuste on väärä, kustannusfunktio kasvaa eksponentiaalisesti mallin varmuuden kasvaessa väärään luokkaan.

Sigmoidifunktion binääriluokittelun yhteydessä käytetty kustannusfunktio tunnetaan nimellä binäärinen ristientropiahäviö (binary cross-entropy loss), kuten yllä on esitetty. On tärkeää huomata, että on olemassa myös yleisempi muoto nimeltä ristientropiahäviö (cross-entropy loss) eli kategorinen ristientropiahäviö, jota käytetään moniluokkaisissa luokitteluongelmissa.

Kategorinen ristientropiahäviö yksittäiselle opetusesimerkille lasketaan seuraavasti:

Missä

• $C$ on luokkien määrä;
• $y_i$ on todellinen tavoitearvo (1 jos luokka on oikea, muuten 0);
• $p_i$ on ennustettu todennäköisyys, että havainto kuuluu luokkaan $i$.

Häviöfunktio lasketaan jokaiselle opetusesimerkille ja otetaan näiden keskiarvo. Tätä keskiarvoa kutsutaan kustannusfunktioksi. Logistinen regressio etsii parametrit $\beta$, jotka minimoivat kustannusfunktion.