Summary
This chapter explains how to represent text as numerical vectors through vector space models—covering Bag of Words, TF-IDF, and dense word and document embeddings.

General domain of usage
Natural Language Processing

Vektoriavaruusmallit voidaan luokitella **tekstin esitystavan perusteella**, yksinkertaisista frekvenssipohjaisista menetelmistä kehittyneempiin, kontekstia huomioiviin upotuksiin. Jokaisella lähestymistavalla on omat etunsa ja ne soveltuvat erilaisiin NLP-tehtäviin.

## Bag of Words

**Bag of words (BoW)** on vektoriavaruusmalli, jossa dokumentit esitetään vektoreina, joiden jokainen ulottuvuus vastaa yksittäistä sanaa. Malli voi olla **binäärinen** (osoittaa sanan esiintymisen) tai **frekvenssipohjainen** (osoittaa sanan esiintymiskertojen määrän).

Tässä on esimerkki frekvenssipohjaisesta BoW-mallista:

Kuten huomaat, jokainen dokumentti esitetään vektorina, jossa jokainen ulottuvuus vastaa tietyn sanan **frekvenssiä** kyseisessä dokumentissa. Binäärisessä bag of words -mallissa jokainen vektori sisältäisi vain **0** tai **1** kullekin sanalle, osoittaen sanan **puuttumisen** tai **esiintymisen**.

Tekstin esikäsittely on välttämätön vaihe ennen **BoW**-mallin tai vastaavien mallien soveltamista.

Huomio

## TF-IDF

**TF-IDF (term frequency-inverse document frequency)** -malli laajentaa bag of words (BoW) -lähestymistapaa säätämällä sanan esiintymistiheyttä sen perusteella, kuinka usein sana esiintyy kaikissa dokumenteissa. Malli korostaa dokumentille ainutlaatuisia sanoja, tarjoten näin tarkempaa tietoa dokumentin sisällöstä.

Tämä saavutetaan yhdistämällä **termin esiintymistiheys** (kuinka monta kertaa sana esiintyy dokumentissa) ja **käänteinen dokumenttitiheys** (mittari sille, kuinka yleinen tai harvinainen sana on koko aineistossa).

Alla on esimerkki TF-IDF:n soveltamisesta aiemman esimerkin dokumentteihin:

TF-IDF:n rikastamat vektorit osoittavat suurempaa vaihtelua ja tarjoavat syvällisempää tietoa dokumentin sisällöstä.

## Sanaupotukset ja dokumenttiupotukset

**Sanaupotukset** kartoittavat **yksittäiset sanat** tiheiksi vektoreiksi matalassa, jatkuvassa avaruudessa, vangiten semanttisia samankaltaisuuksia, joita ei voi suoraan tulkita. 

**Dokumenttiupotukset** puolestaan tuottavat tiheitä vektoreita, jotka edustavat **kokonaisia dokumentteja**, vangiten niiden yleisen semanttisen merkityksen.



Upotusten **ulottuvuus (koko)** valitaan tyypillisesti projektin vaatimusten ja käytettävissä olevien laskentaresurssien perusteella. Oikean koon valinta on ratkaisevaa, jotta voidaan tasapainottaa rikkaan **semanttisen informaation** vangitseminen ja **mallin tehokkuus**.

Tässä on esimerkki siitä, miltä sanaupotukset sanoille "cat", "kitten", "dog" ja "house" saattavat näyttää:

Vaikka tämän taulukon numeeriset arvot ovat mielivaltaisia, ne havainnollistavat, kuinka upotukset voivat kuvata merkityksellisiä suhteita sanojen välillä.

Todellisissa sovelluksissa tällaiset upotukset opitaan **kouluttamalla mallia suurella tekstikorpuksella**, jolloin se kykenee löytämään hienovaraisia kuvioita ja semanttisia suhteita luonnollisesta kielestä.

Tiheiden esitysten jatkokehitys, **kontekstuaaliset upotukset** (jotka tuotetaan malleilla kuten BERT ja GPT), ottaa huomioon sanan esiintymiskontekstin vektorin muodostamisessa. Tämä tarkoittaa, että samalla sanalla voi olla **eri upotukset** eri lauseissa käytettynä, mikä mahdollistaa kielen vivahteikkaan ymmärtämisen.

Lisätietoa

Hallitse käytännön NLP-putkistot hyödyntäen TensorFlow'ta ja NLTK:ta. Painopisteenä edistynyt tekstin esikäsittely, tokenisointi sekä sanaupotusten, mukaan lukien Word2Vec, toteutus. Tämä kurssi on suunnattu syväoppimisen insinööreille, jotka hakevat käytännön kokemusta vankkojen NLP-perustojen rakentamiseen tekoälysovelluksia varten.

Vektoriti lamallien Tyypit

Bag of Words

TF-IDF

Sanaupotukset ja dokumenttiupotukset