ベースモデル / インストラクトモデル (Base Model / Instruct Model)
▼ ざっくり言うと
「素のままのモデル」と「指示に従うように躾けたモデル」の対比です。
▼ もうちょっと詳しく
ベースモデルは、大量の文章を学習しただけの素の状態。次の単語を予測するのは得意ですが、「質問に答える」「指示に従う」という機能は備わっていません。
これに「指示に従って答える」訓練(=RLHFなど)を追加で施したものがインストラクトモデル(またはチャットモデル)です。ChatGPTやClaudeとして触れているのは、こっちのほう。山から切り出した原木(ベース)と、家具に加工した完成品(インストラクト)くらいの違いがあります。
▼ ちょっとだけ深い話
オープンソースモデルでは、両バージョンが配布されていることが多く、用途に応じて選びます。研究用なら原木、実用ならインストラクト。
インストラクト化される前の素のLLMは、ちょっと予測不能で野性味があり、研究者には好かれます。
あなたの読了: 0 / 390 語

