Miksi positionaalinen koodaus on tärkeää

Ilman tapaa koodata jokaisen tokenin sijaintia Transformer-malli näkisi syötteenä olevan tekstin sanapussina, jolloin lauseen rakenne ja merkitys katoaisivat. Esimerkiksi lauseet "the cat chased the mouse" ja "the mouse chased the cat" sisältävät samat sanat, mutta niiden merkitys on täysin erilainen sanajärjestyksen vuoksi. Tämän ratkaisemiseksi otetaan käyttöön paikkakoodaus (positional encoding), joka lisää tietoa tokenien järjestyksestä malliin. Näin malli pystyy erottamaan samojen sanojen eri järjestykset ja ymmärtämään tekstin kontekstin ja merkityksen paremmin.

Positiotiedon lisäämiseen token-upotuksiin Transformereissa on useita strategioita. Kaksi yleisintä ovat sinimuotoinen ja opittu paikkakoodaus. Molemmilla lähestymistavoilla on omat erityispiirteensä ja kompromissinsa, erityisesti eri NLP-tehtävissä.