↑: [[深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 (EXAMPRESS)]] - [[AdaGradとは]]の学習が止まるという欠点を修正した手法 - 指数移動平均を使って古い情報を忘れながら[[学習率（η）]]を調整する