Perché la codifica posizionale è importante

Senza un modo per codificare la posizione di ciascun token, un Transformer percepirebbe l'input come un sacco di parole, perdendo informazioni fondamentali sulla struttura e sul significato della frase. Ad esempio, le frasi "the cat chased the mouse" e "the mouse chased the cat" contengono le stesse parole ma trasmettono significati completamente diversi a causa dell'ordine delle parole. Per risolvere questo problema, viene introdotta la codifica posizionale per inserire informazioni sull'ordine dei token nel modello, permettendogli di distinguere tra diverse disposizioni delle stesse parole e quindi comprendere meglio il contesto e il significato del testo.

Esistono diverse strategie per aggiungere informazioni posizionali agli embedding dei token nei Transformer. Le due più comuni sono le codifiche posizionali sinusoidali e apprese. Ogni approccio presenta caratteristiche e compromessi unici, soprattutto quando viene applicato a diversi compiti di NLP.