Why Positional Encoding Matters

Ohne eine Möglichkeit, die Position jedes Tokens zu codieren, würde ein Transformer die Eingabe als Bag of Words wahrnehmen und dabei entscheidende Informationen über Satzstruktur und Bedeutung verlieren. Zum Beispiel enthalten die Sätze "the cat chased the mouse" und "the mouse chased the cat" dieselben Wörter, vermitteln jedoch aufgrund der Wortreihenfolge völlig unterschiedliche Bedeutungen. Um dieses Problem zu lösen, wird die Positionscodierung eingeführt, um dem Modell Informationen über die Reihenfolge der Tokens bereitzustellen. Dadurch kann es verschiedene Anordnungen derselben Wörter unterscheiden und somit den Kontext und die Bedeutung von Texten besser erfassen.

Es gibt verschiedene Strategien, um Positionsinformationen zu den Token-Embeddings in Transformern hinzuzufügen. Die beiden gebräuchlichsten sind sinusförmige und gelernte Positionscodierungen. Jede Methode hat spezifische Eigenschaften und Kompromisse, insbesondere bei der Anwendung auf verschiedene NLP-Aufgaben.