↑: [[G検定に関する知識]] - **ディープラーニング専用の正則化手法** - 学習中にニューロンをランダムにお休みさせる（例：全体の50%を毎回ランダムに無効化） - 特定のつながりに頼りきらなくなり、過学習を抑えられる - 「サボらせて鍛える」手法 → 誰かが休んでも他がカバーできる強いモデルになる - **本番（予測）では全部のニューロンを使う**（お休みさせるのは学習のときだけ） - cf. [[正則化]], [[過学習]] - Srivastavaら（Hintonのグループ）2014 - 推論時は全ニューロンを使い、学習時のドロップ率に応じて出力をスケーリングして期待値を一致させる（Inverted Dropoutなら学習時にスケーリング） - 解釈①：毎ステップ異なるサブネットワークを学習 → 指数的に多数のモデルの**アンサンブル**効果 - 解釈②：ニューロン間の**共適応（co-adaptation）**を防ぎ、特定ニューロンへの過度な依存を抑える - L1/L2正則化（重みへの罰則）とは仕組みが異なる。「重みの絶対値の和にペナルティ」はL1の説明 ← ひっかけ - バッチ正規化との併用はバッチ統計にランダム性が加わり干渉が起きることがあり、必ず性能向上するとは言えない - CNNの畳み込み層では空間的相関のため画素単位のDropoutが効きにくく、矩形ブロック単位で落とす**DropBlock**などの変形がある