▼ もうちょっと詳しく

モデル全体をいくつかの専門家ネットワーク(エキスパート)に分けておいて、入力ごとに「これは数学の質問だから数学エキスパートを呼ぶ」「これは料理の話だから料理エキスパートを呼ぶ」みたいに、必要なやつだけ動かす仕組みです。

全エキスパートを毎回動かすよりずっと安く・速く動かせます。Mixtral、DeepSeek、GPT-4(噂)、Grokなど、いまの主要LLMは何らかの形でMoEを採用していると言われています。大病院の専門医チーム制と思ってください。総合医より効率がいい。

▼ ちょっとだけ深い話

「全体のパラメータは多いが、毎回動くのは一部だけ」という性質のおかげで、見かけサイズと実コストにギャップが出るのが特徴です。カタログスペックを鵜呑みにできないやつ。