↑: [[G検定に関する知識]]
- [[誤差関数]]を最小化するために、勾配(傾き)の下る方向へ重みを少しずつ更新するアルゴリズム
- すべての最適化手法の出発点。[[誤差逆伝播法]]で計算した勾配を使って重みを動かす
- 重みの更新式:w ← w - η × ∂L/∂w (ηは[[学習率]])
- 落とし穴:[[局所最適解]]や[[鞍点]]に引っかかる可能性がある
- 発展形:[[SGD]] → [[Momentum]] → [[Adam]]
- cf. [[誤差逆伝播法]], [[学習率]], [[局所最適解]], [[SGD]]