↑: [[G検定に関する知識]]
- Stochastic Gradient Descent。ランダムに選んだ一部のデータで勾配を計算して重みを更新する[[勾配降下法]]の基本形
- 「確率的」=毎回違うデータを使うのでランダムな動きになる
- 全データを使わないため計算が速い。また揺れ(ランダム性)が[[局所最適解]]からの脱出を助ける
- 欠点:ジグザグに進みやすく収束が遅い
- 発展形:[[Momentum]](慣性で滑らか化)→ [[Adam]](慣性+学習率自動調整)
- cf. [[勾配降下法]], [[Momentum]], [[Adam]], [[バッチ学習]]