↑: [[RMSprop]] [[G検定に関する知識|G-exam]] - [[パラメータ]](重み)ごとに[[学習率（η）]]を個別に自動調整する最適化アルゴリズム - あまり更新されていない重みは大きく動かす - Adaptive（適応的）の頭「Ada」 - 頻繁に更新される重みは小さく動かす - [[学習率（η）]]が0になり途中で止まってしまうという問題が最大の弱点 - それを解決したのが[[RMSprop]] - 仕組み：過去の勾配の二乗和を蓄積し、それで学習率を割る - 頻繁に更新されるパラメータ → 学習率が小さくなる - あまり更新されないパラメータ → 学習率を大きく保つ - 欠点：過去の勾配を全部累積するため、学習が進むほど学習率が下がりすぎて止まりやすい - [[SGD]] → AdaGrad → [[RMSprop]] → [[Adam]] の流れで発展 - 改良版：[[RMSProp]]（直近の勾配だけ見る） - [[AdaDelta]]（学習率の手動指定も不要） - cf. [[SGD]], [[RMSProp]], [[Adam]] - Duchiら 2011。疎な特徴に強い - 後続：[[RMSprop]]（Hinton）は二乗和の累積を**指数移動平均**に置き換えて学習率の過度な縮小を防いだ