核サンプリング(Top-p)カクサンプリング (Nucleus Sampling)

▼ ざっくり言うと

次の単語候補のうち「累積確率がpになるまで」を対象にして選ぶ手法です。

▼ もうちょっと詳しく

LLMが次のトークンを選ぶとき、確率の上位から順に積み上げて、累積がp(例: 0.9)に達するまでの候補だけを対象にする、というやり方です。Top-p サンプリングの別名。

Top-k(上位k個から選ぶ)が固定数なのに対し、核サンプリングは確率分布の形に応じて候補数が伸び縮みするのが特徴。「確実な状況ではガチガチに選ぶ、迷う状況では幅広く拾う」柔軟さがウリで、現代のLLM出力の標準的な選択肢。

「核」と書くと物々しいですが、要するに「足切りのライン」を確率で決めるだけです。

あなたの読了: 0 / 388