▼ もうちょっと詳しく

2015年に発表されたディープラーニングの画期的な技。各層の出力をミニバッチ単位で平均0・分散1に揃えることで、学習が劇的に安定し、深いネットワークも問題なく学習できるようになりました。

現代のCNNではほぼ全部に入っている標準装備。ただし、LLM・Transformer 系ではLayerNormの方がよく使われます(バッチサイズに依存しないので)。用途で住み分けている仲間関係。