↑: [[G検定に関する知識]] - [[AlexNet]]（2012）：ReLU・ドロップアウト・GPU活用。ILSVRCで圧勝しDL時代の幕開け - [[VGG]]（2014）：3×3小フィルタを重ねる。16〜19層。転移学習のベースとして今も人気 - [[GoogLeNet]]（2014）：Inceptionモジュール（並列フィルタ）・1×1畳み込み・GAP - [[ResNet]]（2015）：**スキップ結合**で残差学習。152層を実現。勾配消失を解消 - Wide ResNet（2016）：深さより幅（チャンネル数）を増やす - [[DenseNet]]（2017）：前方の**すべての層**の出力をConcat。特徴再利用。パラメータ効率◎ - [[SENet]]（2017）：SEブロックでチャンネルごとの重要度を学習（Attentionの一種） - [[ViT]]（2020）：画像をパッチ分割してTransformerで処理。CNNを使わない - スケーリングの2系統：**Wide ResNet**＝深さより**幅（チャンネル数）**を広げる方が効率的と示した / **EfficientNet**（Tan & Le 2019）＝深さ・幅・解像度を一定比率で同時拡大する**複合スケーリング（Compound Scaling）** - 接続方式の対比：ResNet＝**加算（Add）**（チャンネル数不変）/ DenseNet＝**連結（Concat）**（チャンネル数が増える）/ SENet＝Squeeze-and-Excitationでチャンネルごとに再重み付け - 混同注意：MobileNet＝Depthwise Separable Convで軽量化（スケーリングの話ではない）。ResNetの100層超を可能にしたのはスキップ結合（バッチ正規化ではない）