スキップ接続スキップセツゾク (Skip Connection)

▼ ざっくり言うと

層をすっ飛ばして信号を後ろに渡す、深いNNを学習可能にする工夫です。

▼ もうちょっと詳しく

ニューラルネットの層を、1つ飛ばして直接後ろに繋ぐ配線のことです。普通の経路+ショートカットを並列に持たせる、という発想。

これが勾配消失問題を回避し、100層、1000層みたいな超深いネットも学習できるようにしました。ResNet(残差接続)が代表例で、現代のニューラルネットの土台になっています。設計の些細な変更が、ディープラーニング全体を救った有名事例。

「ショートカットを認めるとうまく流れる」というのは、組織にも当てはまる気がします。

あなたの読了: 0 / 388