Arten von Vektorraum-Modellen

Vektorraummodelle können nach der Art ihrer Textrepräsentation kategorisiert werden, von einfachen, frequenzbasierten Methoden bis hin zu fortgeschrittenen, kontextsensitiven Einbettungen. Jede Herangehensweise bietet spezifische Vorteile und eignet sich für unterschiedliche Arten von NLP-Aufgaben.

Bag of Words

Bag of Words (BoW) ist ein Vektorraummodell, das Dokumente als Vektoren darstellt, wobei jede Dimension einem einzigartigen Wort entspricht. Es kann binär sein (zeigt das Vorkommen eines Wortes an) oder frequenzbasiert (zeigt die Anzahl der Vorkommen eines Wortes an).

Hier ein Beispiel für ein frequenzbasiertes BoW:

Wie Sie sehen können, wird jedes Dokument durch einen Vektor dargestellt, wobei jede Dimension der Häufigkeit eines bestimmten Wortes in diesem Dokument entspricht. Im Fall eines binären Bag-of-Words-Modells enthält jeder Vektor nur 0 oder 1 für jedes Wort, was auf dessen Abwesenheit bzw. Vorhandensein hinweist.

TF-IDF

Das TF-IDF (Termfrequenz-inverse Dokumentfrequenz)-Modell erweitert den Bag-of-Words (BoW)-Ansatz, indem es die Worthäufigkeiten basierend auf deren Vorkommen in allen Dokumenten anpasst. Es hebt Wörter hervor, die für ein Dokument einzigartig sind, und liefert dadurch spezifischere Einblicke in den Dokumenteninhalt.

Dies wird erreicht, indem die Termfrequenz (die Anzahl der Vorkommen eines Wortes in einem Dokument) mit der inversen Dokumentfrequenz (ein Maß dafür, wie häufig oder selten ein Wort im gesamten Datensatz ist) kombiniert wird.

Hier ist das Ergebnis der Anwendung von TF-IDF auf die Dokumente aus dem vorherigen Beispiel:

Die durch TF-IDF angereicherten Vektoren zeigen eine größere Vielfalt und bieten tiefere Einblicke in den Dokumenteninhalt.

Wort-Embeddings und Dokumenten-Embeddings

Wort-Embeddings ordnen einzelne Wörter dichten Vektoren in einem niedrigdimensionalen, kontinuierlichen Raum zu und erfassen semantische Ähnlichkeiten, die nicht direkt interpretierbar sind.

Dokumenten-Embeddings hingegen erzeugen dichte Vektoren, die ganze Dokumente repräsentieren und deren gesamthafte semantische Bedeutung erfassen.

Hier ist ein Beispiel dafür, wie Wort-Einbettungen für die Wörter "cat", "kitten", "dog" und "house" aussehen könnten:

Obwohl die numerischen Werte in dieser Tabelle willkürlich sind, veranschaulichen sie, wie Einbettungen sinnvolle Beziehungen zwischen Wörtern darstellen können.

In realen Anwendungen werden solche Einbettungen durch das Trainieren eines Modells auf einem großen Textkorpus erlernt, wodurch das Modell subtile Muster und semantische Beziehungen innerhalb der natürlichen Sprache erkennen kann.