↑: [[G検定に関する知識]]
- 大きなニューラルネットワークの中に、単独でも同じ精度が出る小さな部分ネット(サブネット)が含まれているという仮説
- プルーニングで9割削っても平気な理由を説明する理論的根拠
- 学習とは、この「当たりくじ」のような部分ネットを見つけ出すこと
- cf. [[プルーニング]], [[モデルの軽量化]]
- Frankle & Carbin 2019
- 核心:当選チケット(winning ticket)を**元の初期重みのまま**再学習すると元の大規模ネットに匹敵する性能。ランダムに初期化し直すと再現しない(「一から学習」は誤り)← ひっかけ