CBoW- ja Skip-Gram-mallit

Perustiedot neuroverkoista ovat suositeltavia tämän kappaleen ymmärtämiseksi. Jos aihe ei ole ennestään tuttu, voit tutustua tähän kurssiin:

Edellytykset

• Johdatus neuroverkkoihin

Sekä CBoW- että Skip-gram-arkkitehtuurit oppivat sanaupotuksia neuroverkkorakenteen avulla, joka koostuu seuraavista kerroksista:

• syötekerros;
• yksi piilokerros;
• ulostulokerros.

Painomatriisi syöte- ja piilokerrosten välillä, merkittynä $W^1$ tai $E$, toimii upotusmatriisina. Jokainen tämän matriisin rivi edustaa upotusvektoria vastaavalle sanalle, ja $i$:s rivi vastaa sanaston $i$:ttä sanaa.

Tämä matriisi sisältää $V$ (sanaston koko) upotusta, joista jokaisen koko on $N$, määrittelemämme dimensio. Kun tämän matriisin transpoosi ($N \times V$ matriisi) kerrotaan one-hot-koodatulla vektorilla ($V \times 1$ vektori), saadaan tietyn sanan upotus, joka on $N \times 1$ vektori.

Toinen painomatriisi, joka sijaitsee piilotetun ja ulostulokerroksen välillä, on kooltaan $N \times V$. Kun tämän matriisin transpoosi ($V \times N$ matriisi) kerrotaan piilotetun kerroksen $N \times 1$ vektorilla, tuloksena saadaan $V \times 1$ vektori.

CBoW

Seuraavaksi esimerkki CBoW-mallin käytöstä:

Ensiksi upotusmatriisin transpoosi kerrotaan kontekstisanojen one-hot-vektoreilla, jolloin saadaan niiden upotukset. Nämä upotukset summataan tai keskiarvoistetaan toteutuksesta riippuen, jolloin muodostuu yksi vektori. Tämä vektori kerrotaan $W^2$-matriisilla, jolloin saadaan $V \times 1$ -vektori.

Lopuksi tämä vektori syötetään softmax-aktivointifunktion läpi, jolloin siitä muodostuu todennäköisyysjakauma, jossa jokainen alkio kuvaa sanaston sanan todennäköisyyttä olla kohdesana.

Tämän jälkeen lasketaan häviöfunktio, ja molempia painomatriiseja päivitetään tämän häviön minimoimiseksi. Ihanteellisesti halutaan, että kohdesanan todennäköisyys on lähellä 1 ja kaikkien muiden sanojen todennäköisyydet lähestyvät nollaa. Tämä prosessi toistetaan jokaiselle kohdesanan ja sen kontekstisanojen yhdistelmälle.

Kun kaikki yhdistelmät on käsitelty, yksi epookki on suoritettu. Tyypillisesti neuroverkkoa koulutetaan useiden epookkien ajan, jotta oppiminen olisi tarkkaa. Lopuksi tuloksena saadun upotusmatriisin rivit voidaan käyttää sanaupotuksina. Jokainen rivi vastaa tietyn sanan vektoriesitystä sanastossa, mikä kuvaa tehokkaasti sanan semanttisia ominaisuuksia koulutetussa mallissa.

Skip-gram

Seuraavaksi tarkastellaan skip-gram-mallia:

Kuten huomaat, prosessi on pääosin samanlainen kuin CBoW-mallissa. Se alkaa kohdesanan upotteen hakemisella, jota käytetään piilotetussa kerroksessa. Tämän jälkeen tuotetaan $V \times 1$ -vektori ulostulokerroksessa. Tämä vektori saadaan kertomalla kohdesanan upote ulostulokerroksen painomatriisilla, minkä jälkeen softmax-aktivointifunktio muuntaa sen todennäköisyysvektoriksi.

Jokaisen kontekstisanan tappio summataan, ja painomatriiseja päivitetään jokaisella iteraatiolla kokonaismenetyksen minimoimiseksi. Kun määritelty määrä epookkeja on suoritettu, upotematriisia voidaan käyttää sanaupotteiden hakemiseen.