↑: [[G検定に関する知識]] - 勾配降下法でパラメータを更新する際の「歩幅」を決める重要なハイパーパラメータ - 大きすぎる場合：オーバーシュート → 最適解を通り越して発散 - 小さすぎる場合：収束が遅い・局所最適解（局所最小値）に陥りやすい - Adamなどの最適化アルゴリズムは動的に調整するが、基準となる初期学習率は人間が設定 - 学習率スケジューリング：学習の進行に応じて学習率を段階的に小さくする手法 - ひっかけ：「大きくすれば必ず大域最適解に到達／過学習も防げる」は誤り（発散・振動し収束しない。過学習防止とも無関係） - 探索：グリッドサーチ・ランダムサーチ。実務ではウォームアップ・コサインアニーリングなどの学習率スケジューリングも一般的 - [[勾配降下法]]で1回に重みをどれだけ動かすかを決める値 - cf. [[Adam]], [[AdaGrad]], [[RMSprop]], [[勾配降下法]], [[SGD]], [[ハイパーパラメータ]]