↑: [[G検定に関する知識]] - モデルのパラメータ数を増やすとテスト誤差が「**減る→増える→再び減る**」現象 - 従来の「過学習するとU字カーブで誤差が上昇し続ける」という常識を覆す - 補間閾値を超えて過剰パラメータ領域に入ると誤差が再び下降する - ResNetなど大規模ディープラーニングで顕著に確認された - セットで覚える3つ - 二重降下現象：パラメータを増やしすぎると再び性能が上がる - [[早期終了]]：検証誤差が悪化し始めた瞬間に学習を止める - [[ノーフリーランチの定理]]：あらゆる問題に最強なアルゴリズムは存在しない - Belkinら（2019）の研究で体系的に示された。横軸はパラメータ数だけでなく**訓練エポック数やデータ量**でも観測される - 古典的なバイアス・バリアンストレードオフのU字曲線では説明できない点が特徴 - ひっかけ：モーメンタムの学習曲線、局所最適解の個数、バッチ→ミニバッチ切替の話とは無関係 - 古典的な常識（大きすぎると過学習）を覆した大規模モデル時代の発見 - 3段階：①小さいうちは大きくするほど誤差が下がる → ②中程度で過学習により増える → ③巨大化するともう一度下がる - 大規模言語モデル（LLM）の成功を説明する理論的背景のひとつ - cf. [[過学習]], [[正則化]]