▼ もうちょっと詳しく

霧の中で山を下りる人を想像してください。視界が悪いので、足元の傾きだけを頼りに「下ってるほうへ一歩」「下ってるほうへ一歩」と進んでいく。これがほぼ勾配降下法です。

AIの学習も同じで、現在の損失(間違い具合)から「どっち向きに少しズラせば損失が減るか」を計算して、少しだけずらす。これを何百万回も繰り返すことで、モデルがじわじわと賢くなります。地味です。

▼ 気をつけること

霧の中で下山してると、深い谷ではなく浅いくぼみで「もう着いた」と勘違いすることがあります(局所最適)。AIの学習でもこれが起きて、せっかくの学習が中途半端なところで止まる、という事故が起きたりします。