▼ もうちょっと詳しく

従来のLLMは、聞かれたら即座にしゃべり始めるタイプでした。推論モデルは、答える前に裏側で延々と考え事をしてから、おもむろに最終的な答えを出します。チェスの名人が一手指す前に長考する、あの感じ。

OpenAIのo1、o3シリーズや、AnthropicのClaudeの「extended thinking」モードあたりが代表例です。考える時間=計算時間=お金なので、難問にじっくり取り組むときに使う、という棲み分けになっています。

▼ 気をつけること

簡単な質問にも長考する設定だと、待ち時間も料金もムダに膨らみます。「考える必要のないことは普通のモデルに、難しいのは推論モデルに」というメリハリが大事。全部に1分待たされたい人はいません。