↑: [[RMSprop]][[G検定に関する知識|G-exam]] - [[Momentum]]と[[RMSprop]]のいいとこどりをした手法 - 現在の[[ディープラーニング]]で最も標準的に使われている - 仕組み - 一次モーメント（勾配の指数移動平均）：方向の慣性 - 二次モーメント（勾配二乗の指数移動平均）：学習率の個別調整 - ハイパーパラメータ：β1（通常0.9）、β2（通常0.999）、ε - 発展形：[[AMSGrad]]（収束安定化）、[[AdaBound]]（SGDへの移行）、[[AMSBound]] - [[SGD]] → [[Momentum]] → [[AdaGrad]] → [[RMSprop]] → Adam の流れ - [[Momentum]]（慣性）＋学習率自動調整（[[RMSProp]]相当）を合体させた最適化手法（既存のAdam.mdあり → 後で統合） - 「速くて安定」：慣性でまっすぐ速く下り、重みごとの歩幅で細かく合わせる - 大半のディープラーニングで使われる事実上の標準。「迷ったらAdam」 - 欠点：学習終盤で不安定になることがある → 改良版が[[AdaBound]] / [[AMSBound]] - cf. [[Momentum]], [[RMSProp]], [[AdaBound]]