↑: [[RMSprop]][[G検定に関する知識|G-exam]]
- [[勾配]]に慣性を加える手法のこと
- 小さな凸凹=局所最適解を勢いで乗り越えやすくする
- [[SGD]]の改良版。前回の更新方向を慣性として引き継ぐことで、ボールが転がるように滑らかに谷を下る
- 3つの効果:①ジグザグ動作が滑らか → ②谷を下るとき加速 → ③浅い谷や鞍点を勢いで突破しやすい
- 慣性の強さはハイパーパラメータで調整(通常0.9程度)
- cf. [[SGD]], [[Adam]], [[局所最適解]], [[鞍点]]