Hvorfor Posisjonell Koding Er Viktig

Uten en måte å kode posisjonen til hvert token på, vil en Transformer oppfatte inputen som en pose med ord, og miste viktig informasjon om setningsstruktur og betydning. For eksempel inneholder setningene "the cat chased the mouse" og "the mouse chased the cat" de samme ordene, men formidler helt forskjellige betydninger på grunn av ordrekkefølgen. For å løse dette introduseres posisjonell koding for å tilføre informasjon om rekkefølgen av tokens i modellen, slik at den kan skille mellom ulike arrangementer av de samme ordene og dermed bedre forstå kontekst og mening i tekst.

Det finnes flere strategier for å legge til posisjonsinformasjon til token-embeddingene i Transformers. De to vanligste er sinusformet og lært posisjonell koding. Hver tilnærming har unike egenskaper og avveininger, spesielt når de brukes på ulike NLP-oppgaver.