▼ もうちょっと詳しく

TransformerはアテンションでAIを賢くしましたが、そのままでは単語の順番が分からない、という弱点があります。「太郎が花子を叩いた」と「花子が太郎を叩いた」の区別がつかなくなる。これは事件です。

そこで、各単語に「何番目に出てきたか」を表す特殊な数字パターンを足しておく、という小細工をします。これが位置エンコーディング。最近はRoPE(回転位置エンコーディング)という改良版がほぼ標準で使われています。

▼ ちょっとだけ深い話

順番情報をサイン波の組み合わせで表現する元祖アイデアは、なんとも数学者の発想です。「順番を、波で?」という最初の戸惑いを、業界みんなが通過してきています。