▼ もうちょっと詳しく

高度な学問問題よりも、常識的な状況判断や空間把握、時系列のシンプルな推論でLLMをやらかさせる、という意地悪な意図のベンチマーク。「コップが机から落ちて床に着いたとき、コップはどこ?」みたいな問題で、人間なら100%できるところをLLMが何故か落とす。

2024年に出てきて、「LLMはMMLU満点でも常識が抜けてる」という業界の不安をうまく可視化しました。ベンチマーク至上主義への風刺でもあるやつ。