▼ もうちょっと詳しく

スタンフォード発、2022年公開。精度だけでなく、公平性・頑健性・効率性・有害性などを総合的に測ろう、という野心的なベンチマーク群。「Holistic(全体的)」を名乗るだけあって、評価軸が16以上もあります。

各LLMをHELMで評価したリーダーボードがあり、「学力だけじゃないAIの優劣」を見るのに使われます。研究界では権威だが、商業的な話題性ではLMSYS Arena などに少し押されてます。