残差接続 / ResNet (ResNet / Residual Network)
▼ ざっくり言うと
2015年、深いネットワークの学習を可能にした記念碑的アーキテクチャです。
▼ もうちょっと詳しく
2015年、Microsoft Research の何凱明(He Kaiming)らが発表。スキップ接続を導入することで、100層、152層、1000層といった超深いネットワークを学習可能にしました。
ImageNet 2015 で圧勝し、「層を増やすほど精度が上がる」を実現。ResNet以前のディープラーニングはここで一区切り、と言われるほどの転換点。Transformerにも内部でスキップ接続が使われているので、現代AI全体の血脈にいる存在。
「層を飛ばす」というアイデアだけで業界の流れを変えた、というシンプルさが美しい話です。
あなたの読了: 0 / 388 語

