▼ もうちょっと詳しく

勾配降下法で「どっちに動かすか」が決まっても、どれくらいの幅で動かすかを決めないと進めません。これが学習率。慎重派と大胆派を決めるツマミです。

小さすぎると進みが遅すぎて学習が永遠に終わらず、大きすぎると行ったり来たりして発散します。ゴルディロックス問題で、ちょうどいい値を探すのが昔から職人技。最近は学習中に動的に変える方式が主流です。