Por Qué Es Importante la Codificación Posicional

Sin una forma de codificar la posición de cada token, un Transformer percibiría la entrada como un conjunto de palabras, perdiendo información crucial sobre la estructura y el significado de la oración. Por ejemplo, las oraciones "the cat chased the mouse" y "the mouse chased the cat" contienen las mismas palabras pero transmiten significados completamente diferentes debido al orden de las palabras. Para abordar esto, se introduce la codificación posicional para incorporar información sobre el orden de los tokens en el modelo, permitiéndole distinguir entre diferentes arreglos de las mismas palabras y así comprender mejor el contexto y el significado del texto.

Existen múltiples estrategias para añadir información posicional a las incrustaciones de tokens en Transformers. Las dos más comunes son las codificaciones posicionales sinusoidales y aprendidas. Cada enfoque tiene características y ventajas únicas, especialmente cuando se aplican a diversas tareas de PLN.