Implementera Word2Vec

Efter att ha förstått hur Word2Vec fungerar, går vi vidare till att implementera det med Python. Gensim-biblioteket, ett robust open source-verktyg för naturlig språkbehandling, erbjuder en enkel implementation via sin Word2Vec-klass i gensim.models.

Förbereda data

Word2Vec kräver att textdata tokeniseras, det vill säga delas upp i en lista av listor där varje inre lista innehåller ord från en specifik mening. I detta exempel används romanen Emma av den engelska författaren Jane Austen som korpus. En CSV-fil med förbehandlade meningar laddas in och varje mening delas sedan upp i ord:

emma_df['Sentence'].str.split() tillämpar metoden .split() på varje mening i kolumnen 'Sentence', vilket resulterar i en lista med ord för varje mening. Eftersom meningarna redan har förbehandlats, med ord separerade av blanksteg, är metoden .split() tillräcklig för denna tokenisering.

Träning av Word2Vec-modellen

Nu fokuserar vi på att träna Word2Vec-modellen med den tokeniserade datan. Klassen Word2Vec erbjuder flera parametrar för anpassning. De vanligaste parametrarna är:

• vector_size (standardvärde 100): dimensionen eller storleken på ordbeskrivningarna;
• window (standardvärde 5): storleken på kontextfönstret;
• min_count (standardvärde 5): ord som förekommer färre gånger än detta ignoreras;
• sg (standardvärde 0): modellarkitektur (1 för Skip-gram, 0 för CBoW).
• cbow_mean (standardvärde 1): anger om CBoW-kontexten summeras (0) eller medelvärdesberäknas (1)

När det gäller modellarkitekturer är CBoW lämplig för större datamängder och situationer där beräkningshastighet är avgörande. Skip-gram är däremot att föredra för uppgifter som kräver detaljerad förståelse av ordkontext, särskilt effektivt för mindre datamängder eller när man arbetar med ovanliga ord.

Här sätter vi inbäddningsstorleken till 200, kontextfönstrets storlek till 5, och inkluderade alla ord genom att sätta min_count=1. Genom att sätta sg=0 valde vi att använda CBoW-modellen.

Hitta Liknande Ord

När ord representeras som vektorer kan vi jämföra dem för att mäta likhet. Att använda avstånd är ett alternativ, men riktningen av en vektor bär ofta mer semantisk betydelse än dess storlek, särskilt i ordbäddningar.

Att använda en vinkel som likhetsmått är dock inte så praktiskt. Istället kan vi använda cosinus för vinkeln mellan två vektorer, även känt som cosinuslikhet. Den varierar från -1 till 1, där högre värden indikerar starkare likhet. Detta tillvägagångssätt fokuserar på hur väl vektorerna är riktade mot varandra, oavsett deras längd, vilket gör det idealiskt för att jämföra ords betydelser. Här är en illustration:

Ju högre cosinuslikhet, desto mer lika är de två vektorerna, och vice versa. Om till exempel två ordvektorer har en cosinuslikhet nära 1 (vinkeln nära 0 grader), indikerar det att de är nära relaterade eller liknande i kontext inom vektorrummet.

Låt oss nu hitta de fem mest liknande orden till ordet "man" med hjälp av cosinuslikhet:

model.wv ger åtkomst till ordvektorerna i den tränade modellen, medan metoden .most_similar() hittar de ord vars inbäddningar ligger närmast inbäddningen för det angivna ordet, baserat på cosinuslikhet. Parametern topn bestämmer antalet topp-N liknande ord som returneras.