Vektoriavaruusmallien Tyypit
Pyyhkäise näyttääksesi valikon
Vektoriavaruusmallit voidaan luokitella sen mukaan, miten ne esittävät tekstiä, yksinkertaisista frekvenssipohjaisista menetelmistä kehittyneempiin, kontekstia huomioiviin upotuksiin. Jokaisella lähestymistavalla on omat etunsa ja ne soveltuvat erilaisiin NLP-tehtäviin.
Bag of Words
Bag of words (BoW) on vektoriavaruusmalli, joka esittää dokumentit vektoreina, joissa jokainen ulottuvuus vastaa yksittäistä sanaa. Malli voi olla binäärinen (osoittaa sanan esiintymisen) tai frekvenssipohjainen (osoittaa sanan esiintymiskertojen määrän).
Tässä on esimerkki frekvenssipohjaisesta BoW-mallista:
Kuten huomaat, jokainen dokumentti esitetään vektorina, jossa jokainen ulottuvuus vastaa tietyn sanan esiintymistiheyttä kyseisessä dokumentissa. Binäärisessä bag of words -mallissa jokainen vektori sisältäisi vain 0 tai 1 kullekin sanalle, ilmaisten sanan puuttumisen tai esiintymisen.
Tekstin esikäsittely on välttämätön vaihe ennen BoW- tai vastaavien mallien käyttöä.
TF-IDF
TF-IDF (term frequency-inverse document frequency) -malli laajentaa bag of words (BoW) -lähestymistapaa säätämällä sanan esiintymistiheyksiä niiden esiintymisen perusteella kaikissa dokumenteissa. Se korostaa sanoja, jotka ovat ainutlaatuisia tietylle dokumentille, tarjoten näin tarkempaa tietoa dokumentin sisällöstä.
Tämä saavutetaan yhdistämällä term frequency (kuinka monta kertaa sana esiintyy dokumentissa) ja inverse document frequency (mittari sille, kuinka yleinen tai harvinainen sana on koko aineistossa).
Tässä on tulos, kun TF-IDF-menetelmää sovelletaan edellisen esimerkin dokumentteihin:
TF-IDF:llä rikastetut vektorit ovat monipuolisempia ja tarjoavat syvällisempää tietoa dokumentin sisällöstä.
Sanaupotukset ja dokumenttiupotukset
Sanaupotukset kuvaavat yksittäisiä sanoja tiheinä vektoreina matalassa, jatkuvassa avaruudessa, tallentaen semanttisia samankaltaisuuksia, joita ei voi suoraan tulkita.
Dokumenttiupotukset puolestaan muodostavat tiheitä vektoreita, jotka edustavat kokonaisia dokumentteja, tallentaen niiden yleisen semanttisen merkityksen.
Upotusten ulottuvuus (koko) valitaan tyypillisesti projektin vaatimusten ja käytettävissä olevien laskentaresurssien perusteella. Oikean koon valinta on ratkaisevaa tasapainon löytämiseksi rikkaan semanttisen informaation tallentamisen ja mallin tehokkuuden ylläpitämisen välillä.
Tässä on esimerkki siitä, miltä sanaupotukset sanoille "cat", "kitten", "dog" ja "house" saattavat näyttää:
Vaikka tämän taulukon numeeriset arvot ovat satunnaisia, ne havainnollistavat, kuinka upotukset voivat kuvata merkityksellisiä suhteita sanojen välillä.
Todellisissa sovelluksissa tällaiset upotukset opitaan kouluttamalla mallia suurella tekstikorpuksella, jolloin malli pystyy löytämään hienovaraisia kuvioita ja semanttisia suhteita luonnollisesta kielestä.
Tiheiden esitysten jatkokehitys, kontekstuaaliset upotukset (jotka tuotetaan malleilla kuten BERT ja GPT), ottaa huomioon sanan esiintymiskontekstin vektorin muodostamisessa. Tämä tarkoittaa, että samalla sanalla voi olla eri upotukset riippuen sen käytöstä eri lauseissa, mikä mahdollistaa kielen vivahteikkaan ymmärtämisen.
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Vektoriavaruusmallien Tyypit
Vektoriavaruusmallit voidaan luokitella sen mukaan, miten ne esittävät tekstiä, yksinkertaisista frekvenssipohjaisista menetelmistä kehittyneempiin, kontekstia huomioiviin upotuksiin. Jokaisella lähestymistavalla on omat etunsa ja ne soveltuvat erilaisiin NLP-tehtäviin.
Bag of Words
Bag of words (BoW) on vektoriavaruusmalli, joka esittää dokumentit vektoreina, joissa jokainen ulottuvuus vastaa yksittäistä sanaa. Malli voi olla binäärinen (osoittaa sanan esiintymisen) tai frekvenssipohjainen (osoittaa sanan esiintymiskertojen määrän).
Tässä on esimerkki frekvenssipohjaisesta BoW-mallista:
Kuten huomaat, jokainen dokumentti esitetään vektorina, jossa jokainen ulottuvuus vastaa tietyn sanan esiintymistiheyttä kyseisessä dokumentissa. Binäärisessä bag of words -mallissa jokainen vektori sisältäisi vain 0 tai 1 kullekin sanalle, ilmaisten sanan puuttumisen tai esiintymisen.
Tekstin esikäsittely on välttämätön vaihe ennen BoW- tai vastaavien mallien käyttöä.
TF-IDF
TF-IDF (term frequency-inverse document frequency) -malli laajentaa bag of words (BoW) -lähestymistapaa säätämällä sanan esiintymistiheyksiä niiden esiintymisen perusteella kaikissa dokumenteissa. Se korostaa sanoja, jotka ovat ainutlaatuisia tietylle dokumentille, tarjoten näin tarkempaa tietoa dokumentin sisällöstä.
Tämä saavutetaan yhdistämällä term frequency (kuinka monta kertaa sana esiintyy dokumentissa) ja inverse document frequency (mittari sille, kuinka yleinen tai harvinainen sana on koko aineistossa).
Tässä on tulos, kun TF-IDF-menetelmää sovelletaan edellisen esimerkin dokumentteihin:
TF-IDF:llä rikastetut vektorit ovat monipuolisempia ja tarjoavat syvällisempää tietoa dokumentin sisällöstä.
Sanaupotukset ja dokumenttiupotukset
Sanaupotukset kuvaavat yksittäisiä sanoja tiheinä vektoreina matalassa, jatkuvassa avaruudessa, tallentaen semanttisia samankaltaisuuksia, joita ei voi suoraan tulkita.
Dokumenttiupotukset puolestaan muodostavat tiheitä vektoreita, jotka edustavat kokonaisia dokumentteja, tallentaen niiden yleisen semanttisen merkityksen.
Upotusten ulottuvuus (koko) valitaan tyypillisesti projektin vaatimusten ja käytettävissä olevien laskentaresurssien perusteella. Oikean koon valinta on ratkaisevaa tasapainon löytämiseksi rikkaan semanttisen informaation tallentamisen ja mallin tehokkuuden ylläpitämisen välillä.
Tässä on esimerkki siitä, miltä sanaupotukset sanoille "cat", "kitten", "dog" ja "house" saattavat näyttää:
Vaikka tämän taulukon numeeriset arvot ovat satunnaisia, ne havainnollistavat, kuinka upotukset voivat kuvata merkityksellisiä suhteita sanojen välillä.
Todellisissa sovelluksissa tällaiset upotukset opitaan kouluttamalla mallia suurella tekstikorpuksella, jolloin malli pystyy löytämään hienovaraisia kuvioita ja semanttisia suhteita luonnollisesta kielestä.
Tiheiden esitysten jatkokehitys, kontekstuaaliset upotukset (jotka tuotetaan malleilla kuten BERT ja GPT), ottaa huomioon sanan esiintymiskontekstin vektorin muodostamisessa. Tämä tarkoittaa, että samalla sanalla voi olla eri upotukset riippuen sen käytöstä eri lauseissa, mikä mahdollistaa kielen vivahteikkaan ymmärtämisen.
Kiitos palautteestasi!
