ビームサーチ (Beam Search)
▼ ざっくり言うと
確率の高い候補を「k本ずつ枝分かれさせて」進める古典的な生成手法です。
▼ もうちょっと詳しく
トークン生成のとき、毎ステップで上位k個の候補を全部追跡し、それぞれの先を展開しながら、最終的に全体として最も確率の高い系列を選ぶ、という手法。「思考の木」を機械的にやる版みたいなイメージ。
機械翻訳の時代に主流でしたが、現代LLMでは温度+核サンプリングが標準になり、ビームサーチは少し古典的なポジション。「正解を狙いに行く時には今も使われる」ベテラン技。
「k本のビームで並列探索」、SF的な響きですが、中身は単なる枝分かれ探索です。
あなたの読了: 0 / 390 語

