Die Notwendigkeit der numerischen Darstellung

Computer interpretieren Text nicht wie Menschen. Während wir Bedeutung aus Sprache durch Kontext, Kultur und Erfahrung ableiten, sehen Computer nichts anderes als Zeichenfolgen.

Um Text für Maschinen zugänglich zu machen, müssen wir ihn in ihre Muttersprache übersetzen: Zahlen. Die Darstellung von Text mit Vektoren und Matrizen ermöglicht es mathematischen und statistischen Modellen, Muster, Beziehungen und Erkenntnisse zu entdecken, die im Rohtext verborgen bleiben würden.

Verständnis von Vektorraum-Modellen

Glücklicherweise existieren bereits effektive Lösungen, um Text in numerische Form zu überführen. Einer der am weitesten verbreiteten Ansätze ist die Verwendung von Vektorraum-Modellen.

Es gibt viele Möglichkeiten, solche Vektorräume für Textdokumente zu konstruieren. Ein einfacher Ansatz ist die Verwendung des gesamten Korpus-Vokabulars, wobei jeder Dimension des Raums ein eindeutiger Begriff zugeordnet wird.

Die Korpusvokabular sei mit $V$ bezeichnet und die Menge der Dokumente mit $D$. Dann kann jedes Dokument $d_i \in D$ als Vektor in $\R^N$ dargestellt werden:

wobei:

• $N = |V|$ die Gesamtanzahl der eindeutigen Begriffe im Vokabular ist;
• $w_{j,i}$ das Gewicht oder die Bedeutung des Begriffs $W_j \in V$ im Dokument $d_i$ angibt.

Hier ein einfaches Beispiel mit nur 2 Dokumenten und 2 eindeutigen Begriffen, visualisiert in einem zweidimensionalen Vektorraum:

Mit diesen Vektordarstellungen lässt sich ein Ähnlichkeitswert zwischen Dokumenten berechnen, indem der Winkel zwischen ihren Vektoren gemessen wird, typischerweise unter Verwendung der Kosinus-Ähnlichkeit.

Wörter als Vektoren

Das Konzept der Vektorraummodelle (VSM) lässt sich auf die Darstellung einzelner Wörter durch die Technik der Wort-Embeddings erweitern. Wort-Embeddings basieren auf einem ähnlichen mathematischen Prinzip, konzentrieren sich jedoch darauf, einzelne Wörter als Vektoren darzustellen, anstatt ganze Dokumente. Die Dimensionen dieser Vektoren erfassen latente semantische Merkmale, die nicht direkt interpretierbar sind.

Hier ein Beispiel mit zweidimensionalen Embeddings für drei Wörter:

Wie in der Abbildung dargestellt, liegen die Vektoren für „woman“ und „queen“ sowie für „queen“ und „king“ nahe beieinander, was auf eine starke semantische Ähnlichkeit hinweist. Im Gegensatz dazu deutet der größere Winkel zwischen „woman“ und „king“ auf einen größeren semantischen Unterschied hin.

Anwendungen von Vektorraum-Modellen

Vektorraum-Modelle werden in einer Vielzahl von NLP-Aufgaben eingesetzt:

• Semantische Ähnlichkeit: Berechnung der Ähnlichkeit zwischen Textdokumenten oder Wörtern auf Basis ihrer Vektorrepräsentationen;

• Informationsabruf: Verbesserung von Suchmaschinen und Empfehlungssystemen, um relevante Inhalte für Benutzeranfragen zu finden;

• Textklassifikation und -clustering: Automatische Kategorisierung von Dokumenten in vordefinierte Klassen oder Gruppierung ähnlicher Dokumente;

• Sprachverständnis: Unterstützung einer tieferen linguistischen Analyse, die Anwendungen wie Sentimentanalyse, Topic Modeling und mehr ermöglicht.