▼ もうちょっと詳しく

ふつうのアテンションが「入力と出力を見比べる」のに対し、自己アテンションは「入力の中の単語同士を見比べる」やり方です。「彼は彼女に本を渡した」の中の「彼」と「彼女」と「本」が、お互いを見比べて関係性を確認していく。

Transformerの核になっている仕組みで、LLMの賢さの主役と言ってもいい存在です。「みんなでお互いを気にしながら同時に判断する」という、ちょっと哲学的な発想がここでは効きました。