↑: [[G検定に関する知識]] - [[AdaGrad]]の「学習率がゼロになる問題」を解決した最適化アルゴリズム - [[RMSprop]]と独立に同時期に考案（似たアプローチ） - 最大の特徴：初期学習率（η）の手動設定が不要 - 更新量の変化率に基づいてスケールを合わせる - 「勾配の二乗の移動平均」に加えて「過去のパラメータ更新量の移動平均」も利用 - 数式から学習率が消去される仕組み - cf. [[AdaGrad]], [[RMSProp]], [[Adam]]