↑: [[深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 (EXAMPRESS)]] - [[AdaGrad]]の学習が止まるという欠点を修正した手法 - 指数移動平均を使って古い情報を忘れながら[[学習率]]を調整する