ベースモデル / インストラクトモデルベースモデル (Base Model / Instruct Model)

▼ ざっくり言うと

「素のままのモデル」と「指示に従うように躾けたモデル」の対比です。

▼ もうちょっと詳しく

ベースモデルは、大量の文章を学習しただけの素の状態。次の単語を予測するのは得意ですが、「質問に答える」「指示に従う」という機能は備わっていません。

これに「指示に従って答える」訓練(=RLHFなど)を追加で施したものがインストラクトモデル(またはチャットモデル)です。ChatGPTやClaudeとして触れているのは、こっちのほう。山から切り出した原木(ベース)と、家具に加工した完成品(インストラクト)くらいの違いがあります。

▼ ちょっとだけ深い話

オープンソースモデルでは、両バージョンが配布されていることが多く、用途に応じて選びます。研究用なら原木、実用ならインストラクト。

インストラクト化される前の素のLLMは、ちょっと予測不能で野性味があり、研究者には好かれます。

あなたの読了: 0 / 390