▼ もうちょっと詳しく

Transformerでは、アテンションを1本だけでなく何本も並列に走らせます。それぞれが文章の違う側面(文法、意味、語順など)に注目するように学習されます。同じ会議を5人で違う観点から見るようなイメージ。

モデルのサイズ表記で「12-head」「32-head」と書いてあるあれです。ヘッドの数が多いほどモデルが豊かに文章を理解できる、というのが基本路線ですが、多すぎても効率が悪い、という典型的なトレードオフ。