▼ もうちょっと詳しく

コンテキスト長が伸びたLLM(数十万トークン入るやつ)に対し、「本当にその長さを全部活かせているか?」を試すテスト。例えば、普通の長文の真ん中に「私の好きな食べ物はモンブランです」みたいな文を1個だけ差し込んでおき、最後に「私の好きな食べ物は?」と聞く、というやり方。

AIは長文の末尾近くは覚えていても、真ん中を忘れがち(Lost in the Middle 現象)、というのが知られていて、これを検出するために使われます。「コンテキスト長が長くても、本当の意味で全部使えてるとは限らない」ことが業界で広く認識される契機になった評価方法。