↑: [[RNN]] [[G検定に関する知識|G-exam]] - 文章が長くなるなどして、遡るうちに[[勾配]]が消えてしまったり、爆発することで遠い過去のことを忘れてしまう現象のこと - この問題を解決するために[[LSTM]]や[[GRU]]が開発された - 誤差逆伝播で層をさかのぼるたびに、勾配（微分値）が掛け算で薄れていく問題 - シグモイドの場合、最大傾き0.25が5層で約1/1000、10層ではほぼゼロになる - 入力側の層に届く勾配がほぼ0になり、重みが更新されなくなる＝学習しない - **対策：ReLU系の活性化関数を使う**（正の領域では傾きが1のまま維持される） - 深いネットワーク（ディープラーニング）が長らく実用化できなかった原因の一つ - cf. [[活性化関数]], [[ReLU]], [[誤差逆伝播法]]