▼ もうちょっと詳しく

ふつうの勾配降下法は「全データを使って勾配を計算」しますが、それだと時間がかかりすぎる。毎回ランダムに少量のデータ(ミニバッチ)で勾配を計算するのがSGDです。速い、安い、しかもなぜかうまくいく、という三拍子。

「少しランダム性が入る」のが、結果として過学習を防ぐ効果まで生み、現代の機械学習の標準手法に。手抜きが結果的にプラスに転んだ稀有なケースとして、業界ではちょっとした美談です。