↑: [[G検定に関する知識]] - 過学習を防ぎ汎化性能を高めるためのテクニックの総称 - 誤差関数にペナルティ項を加えてモデルの複雑さを抑える - **訓練データへの適合を最大化するためではない**（逆にあえて抑制する） - 代表的手法 - [[L1正則化]]（Lasso）：絶対値ペナルティ・スパース化 - [[L2正則化]]（Ridge/Weight Decay）：二乗ペナルティ・均等に小さく - 重みが大きくなりすぎないように制約を加えることで過学習を防ぐ手法 - **過学習の正体は重みの暴走**（細部まで合わせこもうとすると一部の重みが極端に大きくなる） - 目的：汎化性能を上げること（訓練データへの過剰なフィットを緩和） - 種類：L0（個数削減）、L1（捨てて絞る）、L2（全部控えめに）、ドロップアウト（DL専用） - cf. [[L1正則化]], [[L2正則化]], [[ラッソ回帰]], [[リッジ回帰]], [[ドロップアウト]], [[過学習]]