スキップ接続 (Skip Connection)
▼ ざっくり言うと
層をすっ飛ばして信号を後ろに渡す、深いNNを学習可能にする工夫です。
▼ もうちょっと詳しく
ニューラルネットの層を、1つ飛ばして直接後ろに繋ぐ配線のことです。普通の経路+ショートカットを並列に持たせる、という発想。
これが勾配消失問題を回避し、100層、1000層みたいな超深いネットも学習できるようにしました。ResNet(残差接続)が代表例で、現代のニューラルネットの土台になっています。設計の些細な変更が、ディープラーニング全体を救った有名事例。
「ショートカットを認めるとうまく流れる」というのは、組織にも当てはまる気がします。
あなたの読了: 0 / 388 語

