▼ もうちょっと詳しく

賢いけど重い大型モデルがあるとき、そのモデルが出す答えを「お手本」として、小型モデルに真似させる、という手口です。師匠から弟子へ、技を盗ませる、職人の世界のあれと同じイメージ。

うまくいくと、計算量は10分の1なのに性能はそれなりに保てる、というおいしい結果になります。スマホで動く小型LLMの多くは、裏で蒸留の恩恵を受けています。お酒の蒸留と同じで、エッセンスだけ凝縮するという発想です。