↑: [[G検定に関する知識]]
- Rectified Linear Unit:負の入力は0、正の入力はそのまま出力する活性化関数
- 現在最もよく使われる活性化関数(隠れ層の標準的な選択肢)
- **正の領域では傾きが1のまま → 勾配消失が起きにくい**
- 条件分岐だけなので計算が軽い
- **弱点:Dying ReLU(死ぬニューロン)** — 負側に入ったニューロンが学習しなくなる
- cf. [[活性化関数-G検定]], [[勾配消失問題-G検定]], [[Leaky ReLU]]