↑: [[G検定に関する知識]] - [[RMSprop]]は[[AdaGrad]]の学習が途中で止まる問題を克服するために考えられた手法 - [[勾配]]の二乗平均を利用して自動的に動的に[[学習率]]を調整する - 過去の[[勾配]]の二乗の指数移動平均を計算して書く[[パラメータ]]を動的に調整する - [[ディープラーニング]]で一般的に使われる最適化手法 - [[勾配]]が変動しやすい[[RNN]]などのタスクで広く使われている - 指数移動平均を使うと次のような働きになる - 古い[[勾配]]情報を徐々に忘れさせる→減衰させる - 新しい[[勾配]]の情報を重視させる - [[RNN]]などの時系列モデルで特に重宝された - [[Momentum]]と[[RMSprop]]のいいとこどりしたのが[[Adam]]