▼ もうちょっと詳しく

2020年ごろにOpenAIの研究者たちが発見した経験則です。パラメータの数、学習データの量、計算量を増やすと、LLMの性能がわりと滑らかに、予測可能なカーブで上がっていくことが分かりました。

この発見が、その後の「とにかく規模を大きくしまくる」競争を生みました。GPT-3、GPT-4とサイズを上げていくと、確かに賢くなる。研究者にとっては「やればやるだけ効く」という、ちょっとずるいくらいの法則です。

▼ ちょっとだけ深い話

ただ、スケーリングだけで全部いけるかというと最近怪しい雰囲気もあります。規模で殴る時代から、賢い設計で殴る時代へ、というシフトが少しずつ起きています。