▼ もうちょっと詳しく

学習で出来上がったモデルに、新しい入力を渡して「はい、答え」と出させる行為が推論です。AIが答えてくれている間、裏では推論が走っています。

日常用語の「推論」とは少しズレていて、AIの世界では「モデルの実行」くらいの意味です。「うーん、これは犯人はあの執事だな」みたいな推理とはちょっと違います。

▼ ちょっとだけ深い話

学習はものすごく時間とお金がかかりますが、推論は1回ごとは比較的速い・安いです。ただし、何百万人が同時に使うと、推論側のサーバー代もすごいことになります。ChatGPTが重い日があるのは、たいてい推論の混雑が原因です。