↑: [[G検定に関する知識]]
- [[AMSGrad]]と[[AdaBound]]の両方のアイデアを統合した最適化アルゴリズム
- AMSGradの収束安定性 + AdaBoundのAdamからSGDへのスムーズな移行
- 学習序盤の高速性・終盤の汎化性能・理論的収束保証を同時に実現
- Adamの進化系の中でも「全部乗せ」的な位置づけ
- cf. [[AdaGrad]] → [[RMSprop]] → [[Adam]] → [[AMSGrad]] / [[AdaBound]] → AMSBounjd