Hvorfor Positionskodning Er Vigtig

Uden en metode til at kode positionen af hvert token, ville en Transformer opfatte inputtet som en pose af ord, hvilket medfører tab af vigtig information om sætningsstruktur og betydning. For eksempel indeholder sætningerne "the cat chased the mouse" og "the mouse chased the cat" de samme ord, men formidler helt forskellige betydninger på grund af ordstillingen. For at løse dette introduceres positionel kodning for at tilføre information om rækkefølgen af tokens til modellen, så den kan skelne mellem forskellige arrangementer af de samme ord og dermed bedre forstå kontekst og betydning af tekst.

Der findes flere strategier til at tilføje positionsinformation til token-embeddings i Transformers. De to mest almindelige er sinusformet og lært positionel kodning. Hver tilgang har unikke egenskaber og afvejninger, især når de anvendes på forskellige NLP-opgaver.