ビームサーチ (Beam Search)

▼ ざっくり言うと

確率の高い候補を「k本ずつ枝分かれさせて」進める古典的な生成手法です。

▼ もうちょっと詳しく

トークン生成のとき、毎ステップで上位k個の候補を全部追跡し、それぞれの先を展開しながら、最終的に全体として最も確率の高い系列を選ぶ、という手法。「思考の木」を機械的にやる版みたいなイメージ。

機械翻訳の時代に主流でしたが、現代LLMでは温度+核サンプリングが標準になり、ビームサーチは少し古典的なポジション。「正解を狙いに行く時には今も使われる」ベテラン技。

「k本のビームで並列探索」、SF的な響きですが、中身は単なる枝分かれ探索です。

あなたの読了: 0 / 390