Por Que a Codificação Posicional É Importante

Sem uma forma de codificar a posição de cada token, um Transformer perceberia a entrada como um conjunto de palavras, perdendo informações essenciais sobre a estrutura e o significado da frase. Por exemplo, as frases "the cat chased the mouse" e "the mouse chased the cat" contêm as mesmas palavras, mas transmitem significados totalmente diferentes devido à ordem das palavras. Para resolver isso, a codificação posicional é introduzida para inserir informações sobre a ordem dos tokens no modelo, permitindo que ele diferencie diferentes arranjos das mesmas palavras e, assim, compreenda melhor o contexto e o significado do texto.

Existem várias estratégias para adicionar informações posicionais às embeddings de tokens em Transformers. As duas mais comuns são codificações posicionais senoides e codificações posicionais aprendidas. Cada abordagem possui características e vantagens únicas, especialmente quando aplicadas a diferentes tarefas de PLN.