▼ もうちょっと詳しく

通常のアテンションは、複数のヘッドごとにそれぞれKey/Valueを持っています。MQAはKey/Value を1セットだけにして全ヘッドで共有するという思い切った省略。メモリと計算量がぐっと減ります。

ただし、Keyを統合しすぎると性能が落ちるので、その中間 として GQA(Grouped-Query Attention)が登場しました。MQA = 究極の省略版、GQA = 良いとこ取り、というポジショニング。