↑: [[G検定に関する知識]]
- データ1件ごとに即座にパラメータを更新する学習方式
- ストリーミングデータ(IoT・株価など)に最適
- メモリ効率: **最も良い**(一度に1件分のみ処理)
- 勾配の安定性: **最も不安定(ジグザグ)** ← 重要
- 1件の外れ値・ノイズに直接影響される
- [[バッチ学習]](全データ平均)が最も安定
- 学習方式3比較
- [[バッチ学習]]: 全データ→1回更新。勾配最安定・メモリ最大
- [[ミニバッチ学習]]: 現在の標準。適度なノイズが局所最適解脱出に役立つ
- オンライン学習: 1件ずつ。メモリ最小・勾配最不安定