▼ もうちょっと詳しく

ChatGPTやClaudeにお願いを投げたあと、「うーん…」と少し待たされる時間です。これがレイテンシ(推論遅延)。裏で大量の計算をやっているので、ゼロにはなりません。

近年は推論モデル(考えてから答えるやつ)も登場し、長考タイプのモデルでは1分以上待たされることもあります。「便利だけど、待つ」のがAI時代の新しい辛抱です。

▼ 気をつけること

ストリーミングで答えを少しずつ表示するのは、レイテンシ対策の心理戦のひとつです。実時間は同じでも、何か始まったほうが体感が良い、という人間の弱点を突いた工夫。