▼ もうちょっと詳しく

LLM(大規模言語モデル、数千億〜兆パラメータ)に対して、SLMは数億〜数十億パラメータ程度に絞った小型版です。代表的なのは Microsoft Phi、Google Gemma、Meta Llama 3.2(小型版)、Apple OpenELM など。

能力は本家LLMに及ばないけれど、スマホ・ノートPC・組み込み機器でも動かせるのがウリ。「全部入りLLMは要らない、用途を絞ればこれで十分」という現実主義の選択肢として、2024年以降ぐっと注目されています。

▼ ちょっとだけ深い話

SLMは蒸留や量子化と組み合わせて使われることが多く、「大型モデルから知識を絞り取って、軽量に詰め直す」工程をくぐっています。LLMがいて初めて成立するSLM、という親子関係。