↑: [[G検定に関する知識]] - [[Adam]]と[[SGD]]のハイブリッド最適化アルゴリズム - 仕組み：学習率に上下限（ガードレール）を設け、学習が進むにつれ幅を狭める - 序盤：Adamのように広範囲を高速探索 - 終盤：SGDのように慎重に微調整（高い汎化性能） - [[AMSGrad]]と組み合わせた発展形が[[AMSBound]] - [[Adam]]の終盤不安定問題を解決した改良版 - 学習率に上限・下限を設けて暴走を防ぐ。序盤はAdamのように自由、終盤はSGDの一定値へ収束 - cf. [[Adam]], [[AMSBound]], [[SGD]]