↑: [[G検定に関する知識]]
- 勾配降下法でパラメータを更新する際の「歩幅」を決める重要なハイパーパラメータ
- 大きすぎる場合:オーバーシュート → 最適解を通り越して発散
- 小さすぎる場合:収束が遅い・局所最適解(局所最小値)に陥りやすい
- Adamなどの最適化アルゴリズムは動的に調整するが、基準となる初期学習率は人間が設定
- 学習率スケジューリング:学習の進行に応じて学習率を段階的に小さくする手法
- cf. [[Adam]]・[[AdaGrad]]・[[RMSprop]](各アルゴリズムでの調整方法が異なる)