Pourquoi l'encodage positionnel est important

Sans un moyen d’encoder la position de chaque jeton, un Transformer percevrait l’entrée comme un sac de mots, perdant ainsi des informations essentielles sur la structure et le sens de la phrase. Par exemple, les phrases "the cat chased the mouse" et "the mouse chased the cat" contiennent les mêmes mots mais véhiculent des significations totalement différentes en raison de l’ordre des mots. Pour remédier à cela, l’encodage positionnel est introduit afin d’injecter des informations sur l’ordre des jetons dans le modèle, lui permettant de distinguer différentes dispositions des mêmes mots et ainsi mieux comprendre le contexte et le sens du texte.

Il existe plusieurs stratégies pour ajouter des informations positionnelles aux embeddings de jetons dans les Transformers. Les deux plus courantes sont les encodages positionnels sinusoïdaux et appris. Chaque approche possède des caractéristiques et des compromis uniques, en particulier lorsqu’elles sont appliquées à diverses tâches de traitement du langage naturel.