▼ もうちょっと詳しく

勾配消失とは逆に、勾配がどんどん大きくなり、最終的に値が無限大に近づいてモデルが崩壊する現象です。RNNなどでよく起きました。

対策は勾配クリッピング(値が大きすぎたら切り捨てる、というシンプルな手口)、学習率の調整、バッチノームなど。「制御不能になる前に首根っこを掴む」という地味な工夫が効きます。