▼ もうちょっと詳しく

RAGで資料を取ってきたとき、長い文書をそのままLLMに渡すとトークンを食いすぎるし、ノイズも増える。そこで、「質問に関係しそうな段落・センテンスだけを抜き出す」前処理を挟むのがコンテキスト圧縮です。

実装にはLLMをもう一段使うことが多く、「いまの質問にとって本当に必要な情報か?」を別のAIに判定させる、という鏡の合わせ技。料金と精度のトレードオフを細かく調整する地味な工夫です。