↑: [[G検定に関する知識]] - 重みごとに学習率を自動調整する最適化手法。AdaGradの改良版 - AdaGradは過去の勾配を全部累積するため学習率が下がりすぎる欠点がある → RMSPropは直近の勾配だけ見て調整することで解消 - よく動く重みの学習率を小さく、あまり動かない重みを大きくする「適応的」な手法 - [[Adam]]の一部として組み込まれている - cf. [[AdaGrad]], [[Adam]], [[SGD]] - 仕組み：勾配二乗の累積を**指数移動平均**（直近を重視し過去を減衰）に置き換え、実効学習率が0に近づく問題を解消（Hinton提案） - 対比：モーメンタムSGDは慣性を持たせる手法で適応的学習率ではない。Adam＝モーメンタム（1次モーメント）＋RMSprop型適応学習率（2次モーメント）