↑: [[G検定に関する知識]] - [[オートエンコーダ]]を複数層に積み重ねてより深い特徴表現を学習するモデル - ジェフリー・ヒントン、ヨシュア・ベンジオらが2006年に提案 - 学習の2ステップ - **Step1 事前学習（Pre-training）**：1層ずつ教師なし学習で逐次的に学習（Greedy Layer-wise Training） - **Step2 ファインチューニング**：全体をつなげて教師あり学習で微調整 - 事前学習で良い初期値を得てからファインチューニングする→深層ネットワーク学習の突破口 - 現在のディープラーニングブームの火付け役 - 1層ずつ学習して積み上げる古典的な深層化手法（貪欲層別学習） - 1層目を学習・固定→2層目を学習・固定→… と段階的にオートエンコーダを重ねる - 背景: 当時は深いネットワークを一気に学習できなかった（勾配消失問題）ため考案 - 現在は活性化関数（ReLU）とバッチ正規化の進化により使われなくなった - cf. [[オートエンコーダ]], [[勾配消失問題]]