CBoW- und Skip-Gram-Modelle

Sowohl die CBoW- als auch die Skip-gram-Architekturen erlernen Wort-Embeddings durch eine neuronale Netzwerkstruktur, die aus den folgenden Schichten besteht:

• Einer Eingabeschicht;
• Einer einzelnen versteckten Schicht;
• Einer Ausgabeschicht.

Die Gewichtsmatrix zwischen Eingabe- und versteckter Schicht, bezeichnet als $W^1$ oder $E$, dient als Embeddings-Matrix. Jede Zeile dieser Matrix stellt einen Embedding-Vektor für ein entsprechendes Wort dar, wobei die $i$-te Zeile dem $i$-ten Wort im Vokabular entspricht.

Diese Matrix enthält $V$ (Vokabulargröße) Embeddings, jeweils der Größe $N$, einer von uns festgelegten Dimension. Die Multiplikation der Transponierten dieser Matrix ($N \times V$ Matrix) mit einem One-Hot-codierten Vektor ($V \times 1$ Vektor) ruft das Embedding für ein bestimmtes Wort ab und ergibt einen $N \times 1$ Vektor.

Die zweite Gewichtsmatrix, zwischen der versteckten und der Ausgabeschicht, hat die Größe $N \times V$. Die Multiplikation der Transponierten dieser Matrix ($V \times N$ Matrix) mit dem $N \times 1$ Vektor der versteckten Schicht ergibt einen $V \times 1$ Vektor.

CBoW

Im Folgenden ein Beispiel für die Verwendung eines CBoW-Modells:

Zunächst wird das Transponierte der Embedding-Matrix mit den One-Hot-Vektoren der Kontextwörter multipliziert, um deren Embeddings zu erzeugen. Diese Embeddings werden anschließend aufsummiert oder gemittelt – je nach Implementierung – um einen einzelnen Vektor zu bilden. Dieser Vektor wird mit der $W^2$-Matrix multipliziert, was zu einem $V \times 1$-Vektor führt.

Abschließend durchläuft dieser Vektor die Softmax-Aktivierungsfunktion, wodurch eine Wahrscheinlichkeitsverteilung entsteht, bei der jedes Element die Wahrscheinlichkeit angibt, dass ein Vokabelwort das Zielwort ist.

Anschließend wird der Verlust berechnet und beide Gewichtsmatrizen werden aktualisiert, um diesen Verlust zu minimieren. Idealerweise soll die Wahrscheinlichkeit für das Zielwort nahe 1 liegen, während die Wahrscheinlichkeiten für alle anderen Wörter gegen Null gehen. Dieser Vorgang wird für jede Kombination eines Zielworts mit seinen Kontextwörtern wiederholt.

Sobald alle Kombinationen verarbeitet wurden, ist eine Epoche abgeschlossen. In der Regel wird das neuronale Netzwerk über mehrere Epochen hinweg trainiert, um ein genaues Lernen zu gewährleisten. Schließlich können die Zeilen der resultierenden Embedding-Matrix als unsere Wort-Embeddings verwendet werden. Jede Zeile entspricht der Vektorrepräsentation eines bestimmten Wortes im Vokabular und bildet dessen semantische Eigenschaften im trainierten Modell ab.

Skip-gram

Im Folgenden wird ein Skip-gram-Modell betrachtet:

Wie Sie sehen können, ist der Ablauf größtenteils ähnlich wie bei CBoW. Er beginnt mit dem Abrufen der Einbettung des Zielworts, die anschließend in der versteckten Schicht verwendet wird. Darauf folgt die Erzeugung eines $V \times 1$-Vektors in der Ausgabeschicht. Dieser Vektor, der durch Multiplikation der Einbettung des Zielworts mit der Gewichtsmatrix der Ausgabeschicht entsteht, wird anschließend durch die Softmax-Aktivierungsfunktion in einen Wahrscheinlichkeitsvektor umgewandelt.

Der Verlust für jedes Kontextwort wird aufsummiert, und die Gewichtsmatrizen werden bei jeder Iteration entsprechend aktualisiert, um den Gesamtverlust zu minimieren. Nach Abschluss der festgelegten Anzahl an Epochen kann die Einbettungsmatrix verwendet werden, um die Wort-Einbettungen zu erhalten.