▼ もうちょっと詳しく

勾配降下法で「どっちに動かすか」が決まったとして、どのくらいの勢いで、どう動かすかにはいろいろ流派があります。SGD、Adam、AdamW、RMSprop、Adagradなど、それぞれ性格が違います。

実用上の鉄板はAdam(またはAdamW)で、迷ったらこれを選んでおけば八割方OKというのが業界の暗黙のお作法。「とりあえずAdam」は呪文みたいに伝承されています。