なぜ位置エンコーディングが重要なのか

各トークンの位置を符号化する方法がなければ、Transformerは入力を**単語の集合（bag of words）**として認識し、文の構造や意味に関する重要な情報を失います。例えば、"the cat chased the mouse" と "the mouse chased the cat" という文は同じ単語を含みますが、語順が異なるため全く異なる意味を持ちます。これに対処するために、**位置エンコーディング（positional encoding）**が導入され、トークンの順序に関する情報をモデルに付与し、同じ単語の異なる並びを区別できるようにし、テキストの文脈や意味をより適切に理解できるようにします。

Transformerにおけるトークン埋め込みへの位置情報の追加には複数の戦略があります。最も一般的なのは、**サイン波（sinusoidal）と学習型位置エンコーディング（learned positional encodings）**です。それぞれの手法には独自の特徴とトレードオフがあり、さまざまなNLPタスクに適用する際に違いが現れます。