▼ もうちょっと詳しく

「彼は鈴木さんに本を渡した。彼女はそれを喜んだ。」という文があったとき、「彼女」が誰のことか、「それ」が何のことかを判断するには、文中のいろんな単語を見比べる必要があります。アテンションは、その「見比べ」を数値計算でやる仕組みです。

要するにいろんな単語をチラチラ見ながら、関係の深いやつに重みをつける装置。学級会で「で、これに関係しそうな人は誰だっけ」と先生が考える、あの作業を機械でやらせていると思ってください。

▼ ちょっとだけ深い話

論文タイトルが「Attention Is All You Need(必要なのはアテンションだけ)」というやたらキャッチーなやつで、2017年に発表されました。これがその後のLLM大ブームの土台になっています。タイトル勝ちの好例です。