Vektorrumsmodeller

Behovet for numerisk repræsentation

Computere kan ikke fortolke tekst på samme måde som mennesker. Hvor vi udleder mening fra sprog gennem kontekst, kultur og erfaring, ser computere kun sekvenser af tegn.

For at gøre tekst tilgængelig for maskiner skal vi oversætte den til deres modersmål: tal. Ved at repræsentere tekst med vektorer og matricer muliggøres det for matematiske og statistiske modeller at afdække mønstre, relationer og indsigter, som ellers ville forblive skjult i rå tekst.

Forståelse af vektorrummodeller

Heldigvis findes der allerede effektive løsninger til at konvertere tekst til numerisk form. En af de mest udbredte metoder er brugen af vektorrummodeller.

Der findes mange måder at konstruere sådanne vektorrum for tekstdata. En simpel tilgang er at bruge hele korpusvokabularet, hvor hver dimension i rummet tildeles et unikt term.

Lad korpusvokabularet betegnes som $V$ og mængden af dokumenter som $D$. Hvert dokument $d_i \in D$ kan da repræsenteres som en vektor i $\R^N$:

hvor:

• $N = |V|$ er det samlede antal unikke termer i vokabularet;
• $w_{j,i}$ angiver vægten eller vigtigheden af termen $W_j \in V$ i dokumentet $d_i$.

Her er et simpelt eksempel med kun 2 dokumenter og 2 unikke termer, visualiseret i et 2D-vektorrum:

Ved at bruge disse vektorrepræsentationer kan man beregne en similaritetsscore mellem dokumenter ved at måle vinklen mellem deres vektorer, typisk ved hjælp af cosinus-similaritet.

Ord som vektorer

Idéen bag VSM'er kan udvides til individuelle ordrepræsentationer gennem teknikken kendt som word embeddings. Word embeddings bygger på et lignende matematisk princip, men fokuserer på at repræsentere individuelle ord som vektorer i stedet for hele dokumenter. Dimensionerne i disse vektorer fanger latente semantiske egenskaber, som ikke er direkte fortolkelige.

Her er et eksempel med 2-dimensionelle embeddings for tre ord:

Som illustreret på billedet er vektorerne for "woman" og "queen" samt for "queen" og "king" placeret tæt på hinanden, hvilket indikerer stærk semantisk lighed. I modsætning hertil antyder den større vinkel mellem "woman" og "king" en større semantisk forskel.

Anvendelser af vektorrummodeller

Vektorrummodeller anvendes i en bred vifte af NLP-opgaver:

• Semantisk lighed: beregning af lighed mellem tekst-dokumenter eller ord baseret på deres vektorrepræsentationer;

• Informationssøgning: forbedring af søgemaskiner og anbefalingssystemer til at finde indhold, der er relevant for en brugers forespørgsel;

• Tekstklassificering og klyngedannelse: automatisk kategorisering af dokumenter i foruddefinerede klasser eller gruppering af lignende dokumenter;

• Forståelse af naturligt sprog: muliggør dybere sproglig analyse, som baner vejen for anvendelser som sentimentanalyse, emnemodellering og mere.