Oppiskele Häviöfunktio | Neuroverkon Rakentaminen Alusta Alkaen

Neuroverkon koulutuksessa tarvitaan tapa mitata, kuinka hyvin malli suoriutuu. Tämä tehdään tappiofunktion avulla, joka kvantifioi ennustettujen tulosten ja todellisten arvojen välisen eron. Koulutuksen tavoitteena on minimoida tämä tappio, jolloin ennusteet ovat mahdollisimman lähellä todellisia arvoja.

Yksi yleisimmin käytetyistä tappiofunktioista binääriluokittelussa on ristientropiatappio, joka soveltuu hyvin malleille, jotka tuottavat todennäköisyyksiä.

Ristientropiatappion johtaminen

Ristientropiatappion ymmärtämiseksi aloitetaan maksimimääräisyysperiaatteesta. Binääriluokittelussa tavoitteena on kouluttaa malli, joka arvioi todennäköisyyden $\hat{y}$ sille, että annettu syöte kuuluu luokkaan 1. Todellinen luokkamerkintä $y$ voi olla 0 tai 1.

Hyvän mallin tulisi maksimoida kaikkien koulutusesimerkkien oikean ennustamisen todennäköisyys. Tämä tarkoittaa, että halutaan maksimoida todennäköisyysfunktio, joka kuvaa havaittujen tietojen todennäköisyyttä mallin ennusteiden perusteella.

Yhdelle koulutusesimerkille, oletetaan riippumattomuus, todennäköisyys voidaan kirjoittaa seuraavasti:

P(y|x) = \hat{y}^y(1 - \hat{y})^{1-y}

Tämä lauseke tarkoittaa yksinkertaisesti:

Jos $y = 1$ , niin $P(y|x) = \hat{y}$ , eli halutaan maksimoida $\hat{y}$ (luokan 1 todennäköisyys);
Jos $y = 0$ , niin $P(y|x) = 1 - \hat{y}$ , eli halutaan maksimoida $1 - \hat{y}$ (luokan 0 todennäköisyys).

Huomautus

$P(y|x)$ tarkoittaa todennäköisyyttä havaita todellinen luokkamerkintä $y$ annetuille syötteille $x$ .

Optimoimisen helpottamiseksi käytetään logaritmista todennäköisyyttä (log-likelihood) pelkän todennäköisyyden sijaan (koska logaritmit muuttavat tulot summiksi, mikä helpottaa derivointia):

\log P(y|x) = y\log(\hat{y}) + (1-y)\log(1-\hat{y})

Koska tavoitteena on maksimointi, määritellään häviöfunktio (loss function) negatiivisena logaritmisena todennäköisyytenä (negative log-likelihood), jota pyritään minimoimaan:

L = -(y\log(\hat{y}) + (1-y)\log(1-\hat{y}))

Tämä on binäärinen ristientropiahäviöfunktio, jota käytetään yleisesti luokitteluongelmissa.

Kun output-muuttuja edustaa $\hat{y}$ tietylle opetusesimerkille ja target-muuttuja edustaa $y$ tälle opetusesimerkille, tämä häviöfunktio voidaan toteuttaa seuraavasti:

import numpy as np

loss = -(target * np.log(output) + (1 - target) * np.log(1 - output))

Miksi tämä kaava?

Ristientropiahäviöllä on selkeä intuitiivinen tulkinta:

Jos $y = 1$ , häviö yksinkertaistuu muotoon $-\log(\hat{y})$ , eli häviö on pieni, kun $\hat{y}$ on lähellä arvoa 1 ja hyvin suuri, kun $\hat{y}$ on lähellä nollaa;
Jos $y = 0$ , häviö yksinkertaistuu muotoon $-\log(1 - \hat{y})$ , eli häviö on pieni, kun $\hat{y}$ on lähellä nollaa ja hyvin suuri, kun se on lähellä arvoa 1.

Koska logaritmit kasvavat negatiivisesti suuriksi syötteen lähestyessä nollaa, väärät ennusteet rangaistaan voimakkaasti, mikä kannustaa mallia tekemään varmoja ja oikeita ennusteita.

Jos eteenpäinlevityksessä käytetään useita esimerkkejä, kokonaishäviö lasketaan kaikkien esimerkkien keskimääräisenä häviönä:

L = -\frac1N \sum_{i=1}^N (y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i))

missä $N$ on opetusesimerkkien määrä.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 2. Luku 6

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Awesome!

Completion rate improved to 4

Pyyhkäise näyttääksesi valikon