↑: [[G検定に関する知識]] - [[AdaGrad]]の「学習率がゼロになる問題」を解決した最適化アルゴリズム - [[RMSprop]]と独立に同時期に考案（似たアプローチ） - 最大の特徴：初期学習率（η）の手動設定が不要 - 更新量の変化率に基づいてスケールを合わせる - 「勾配の二乗の移動平均」に加えて「過去のパラメータ更新量の移動平均」も利用 - 数式から学習率が消去される仕組み - cf. [[AdaGrad]], [[RMSProp]], [[Adam]] - 2012年頃提案。**Adamより前**の手法（Adamの後継・高速化版ではない）← ひっかけ - 「学習率を手動設定する必要があるSGDの単純変形」は誤り。適応学習率の自動調整手法