↑: [[G検定に関する知識]]
- 重みを全部0にすると全ニューロンが同じ勾配になり学習が進まない(対称性の問題)→ 適切な乱数で初期化が必要
- **Xavier初期化(Glorot初期化)**:前後の層のニューロン数を使って分散を調整。シグモイド・tanh向け
- **He初期化**:前の層のニューロン数のみ使う。ReLU向け(ReLUは負側がゼロになるため分散を大きめに設定)
- 適切な初期化により[[勾配消失問題]]の抑制効果もある
- cf. [[勾配消失問題]], [[ReLU]], [[誤差逆伝播法]]