Perustiedot neuroverkoista ovat suositeltavia tämän luvun ymmärtämiseksi. Jos aihe ei ole ennestään tuttu, voit tutustua tähän kurssiin:

Edellytykset

• Johdatus neuroverkkoihin

Sekä CBoW- että Skip-gram-arkkitehtuurit oppivat sanaupotuksia neuroverkkorakenteen avulla, joka koostuu seuraavista kerroksista:

• syötekerros;
• yksi piilokerros;
• ulostulokerros.

Syöte- ja piilokerrosten välinen painomatriisi, merkittynä $W^1$ tai $E$, toimii upotusmatriisina. Jokainen tämän matriisin rivi edustaa upotusvektoria vastaavalle sanalle, ja $i$:s rivi vastaa sanaston $i$:ttä sanaa.

Tämä matriisi sisältää $V$ (sanaston koko) upotusta, joista jokaisen koko on $N$, määrittelemämme dimensio. Kun tämän matriisin transpoosi ($N \times V$ matriisi) kerrotaan one-hot-koodatulla vektorilla ($V \times 1$ vektori), saadaan tietyn sanan upotus, joka on $N \times 1$ vektori.

Toinen painomatriisi, joka sijaitsee piilotetun ja ulostulokerroksen välillä, on kooltaan $N \times V$. Kun tämän matriisin transpoosi ($V \times N$ matriisi) kerrotaan piilotetun kerroksen $N \times 1$ vektorilla, saadaan $V \times 1$ vektori.

CBoW

Tarkastellaan nyt esimerkkiä CBoW-mallin käytöstä:

Ensiksi upotusmatriisin transpoosi kerrotaan kontekstisanojen one-hot-vektoreilla, jolloin saadaan näiden sanojen upotukset. Nämä upotukset summataan tai keskiarvoistetaan toteutuksesta riippuen, jolloin muodostuu yksi vektori. Tämä vektori kerrotaan $W^2$-matriisilla, jolloin saadaan $V \times 1$ vektori.

Lopuksi tämä vektori syötetään softmax-aktivointifunktion läpi, jolloin siitä muodostuu todennäköisyysjakauma, jossa jokainen alkio kuvaa sanaston sanan todennäköisyyttä olla kohdesana.

Tämän jälkeen lasketaan tappiofunktio ja molempia painomatriiseja päivitetään tappion minimoimiseksi. Ihannetapauksessa halutaan, että kohdesanan todennäköisyys on lähellä 1 ja kaikkien muiden sanojen todennäköisyydet lähestyvät nollaa. Tämä prosessi toistetaan jokaiselle kohdesanan ja sen kontekstisanojen yhdistelmälle.

Kun kaikki yhdistelmät on käsitelty, yksi epookki on suoritettu. Tyypillisesti neuroverkkoa koulutetaan useiden epookkien ajan, jotta oppiminen olisi tarkkaa. Lopuksi tuloksena saadun upotusmatriisin rivejä voidaan käyttää sanaupotuksina. Jokainen rivi vastaa tietyn sanan vektoriesitystä sanastossa ja kuvaa tehokkaasti sen semanttisia ominaisuuksia koulutetussa mallissa.

Skip-gram

Tarkastellaan nyt skip-gram-mallia:

Kuten huomaat, prosessi on pääosin samanlainen kuin CBoW-mallissa. Se alkaa hakemalla kohdesanan upotuksen, jota käytetään piilotetussa kerroksessa. Tämän jälkeen tuotetaan $V \times 1$ -vektori ulostulokerroksessa. Tämä vektori saadaan kertomalla kohdesanan upotus ulostulokerroksen painomatriisilla, minkä jälkeen softmax-aktivointifunktio muuntaa sen todennäköisyysvektoriksi.

Kunkin kontekstisanan tappio summataan, ja painomatriiseja päivitetään jokaisella iteraatiolla kokonais­tappion minimoimiseksi. Kun määritelty määrä epookkeja on suoritettu, upotusmatriisia voidaan käyttää sanaupotusten saamiseksi.