↑: [[G検定に関する知識]] - 各層でミニバッチ内の平均0・分散1に正規化する手法 - 目的: [[内部共変量シフト]]の抑制 - 効果: 学習安定化・高速化・過学習抑制（正則化効果） - 学習時: ミニバッチの平均・分散で正規化 - **推論時: ミニバッチの統計量は使わない** ← 重要 - 代わりに**学習中に計算した移動平均**を使用 - （推論時はバッチサイズが1になる場合もあるため） - [[正規化]]4種の比較 - バッチ正規化: バッチ全体で統計→CNN標準 - [[レイヤー正規化]]: 1データ内の全チャンネル→RNN・Transformer標準 - [[インスタンス正規化]]: 1データの1チャンネル→スタイル変換・GAN - [[グループ正規化]]: チャンネルをグループ分け→物体検出・セグメンテーション - Ioffe & Szegedy 2015 - 学習可能な**スケーリングγ・シフトβ**を持ち、必要なら正規化前の表現力を回復できる（γ=1・β=0なら恒等変換） - 各層の入力分布が安定するため比較的高い学習率でも学習が安定し、収束が速まる副次効果がある