↑: [[G検定に関する知識]] - [[AMSGrad]]と[[AdaBound]]の両方のアイデアを統合した最適化アルゴリズム - AMSGradの収束安定性 + AdaBoundのAdamからSGDへのスムーズな移行 - 学習序盤の高速性・終盤の汎化性能・理論的収束保証を同時に実現 - Adamの進化系の中でも「全部乗せ」的な位置づけ - 位置づけ：AdaBoundとともに「**収束性改善版Adam**」。Adamが一部タスクでSGDより汎化性能・収束が不安定になる問題への対処 - ひっかけ：AdaGradの拡張ではなく**Adamの派生**。全パラメータを同一固定学習率にするのではなく、適応学習率に動的な上下限を課す - 「序盤Adam、終盤SGD」の動きを安定させた手法 - cf. [[AdaGrad]], [[RMSprop]], [[Adam]], [[AMSGrad]], [[AdaBound]]