▼ もうちょっと詳しく

ディープラーニングの初期、層をたくさん重ねれば賢くなると思って積み重ねたら、学習がぜんぜん進まなくなる、という事件が起きました。原因は、誤差を後ろから前へ伝える過程で勾配がどんどん小さくなってゼロに近づくから。

2010年代の不眠の原因の一つ。ReLU、バッチノーム、残差接続といった発明で解決され、ディープラーニング時代の幕が開きました。過去の苦しみを知らないと、現代のNNが当たり前すぎてありがたみが分からないやつ。