Vektorrommodeller

Behovet for numerisk representasjon

Datamaskiner kan ikke tolke tekst slik mennesker gjør. Mens vi utleder mening fra språk gjennom kontekst, kultur og erfaring, ser datamaskiner ikke annet enn sekvenser av tegn.

For å gjøre tekst tilgjengelig for maskiner, må vi oversette den til deres morsmål: tall. Å representere tekst med vektorer og matriser gjør det mulig for matematiske og statistiske modeller å avdekke mønstre, relasjoner og innsikter som ellers ville forblitt skjult i rå tekst.

Forståelse av vektorrommodeller

Heldigvis finnes det allerede effektive løsninger for å konvertere tekst til numerisk form. En av de mest utbredte tilnærmingene er bruk av vektorrommodeller.

Det finnes mange måter å konstruere slike vektorrom for tekst-dokumenter. En enkel tilnærming er å bruke hele korpusvokabularet, der hver dimensjon i rommet tilordnes et unikt begrep.

La korpusvokabularet betegnes som $V$ og dokumentmengden som $D$. Hvert dokument $d_i \in D$ kan da representeres som en vektor i $\R^N$:

hvor:

• $N = |V|$ er det totale antallet unike termer i vokabularet;
• $w_{j,i}$ angir vekten eller viktigheten til termen $W_j \in V$ i dokumentet $d_i$.

Her er et enkelt eksempel med kun 2 dokumenter og 2 unike termer, visualisert i et todimensjonalt vektorrom:

Ved å bruke disse vektorrepresentasjonene kan man beregne en likhetsscore mellom dokumenter ved å måle vinkelen mellom vektorene, vanligvis ved hjelp av cosinuslikhet.

Ord som vektorer

Ideen bak VSM-er kan utvides til individuelle ordrepresentasjoner gjennom teknikken kjent som word embeddings. Word embeddings bygger på et lignende matematisk prinsipp, men fokuserer på å representere enkeltord som vektorer i stedet for hele dokumenter. Dimensjonene i disse vektorene fanger opp latente semantiske egenskaper som ikke er direkte tolkbare.

Her er et eksempel med todimensjonale embeddinger for tre ord:

Som illustrert i bildet, er vektorene for "woman" og "queen", samt for "queen" og "king", plassert nær hverandre, noe som indikerer sterk semantisk likhet. I kontrast antyder den større vinkelen mellom "woman" og "king" en større semantisk forskjell.

Bruksområder for vektorrommodeller

Vektorrommodeller brukes i et bredt spekter av NLP-oppgaver:

• Semantisk likhet: beregning av likhet mellom tekst-dokumenter eller ord basert på deres vektorrepresentasjoner;

• Informasjonshenting: forbedring av søkemotorer og anbefalingssystemer for å finne innhold som er relevant for en brukers forespørsel;

• Tekstklassifisering og klynging: automatisk kategorisering av dokumenter i forhåndsdefinerte klasser eller gruppering av lignende dokumenter;

• Forståelse av naturlig språk: muliggjør dypere språklig analyse som legger til rette for applikasjoner som sentimentanalyse, emnemodellering og mer.