▼ もうちょっと詳しく

コインを投げて表裏が半々で出るときが「エントロピー最大(=もっとも予測しにくい)」、いつも表が出るときが「エントロピーゼロ(=完全に予測できる)」。「次に何が起きるか分からない度合い」を数式にしたもの、と思ってください。

AIの世界では、損失関数(クロスエントロピー)として顔を出します。「モデルの予測がどれくらいハズれてるか」を測る基本指標の一つ。物理の用語と同じ言葉ですが、こちらはシャノンという人が情報理論で発展させた概念です。