↑: [[RNN]] [[G検定に関する知識|G-exam]] - 過去に遡って誤差を伝播させる手法 - 文章が長くなると[[勾配]]が消えてしまう - 爆発することも - RNNの学習アルゴリズム。誤差逆伝播法（Backpropagation）の時系列版 - RNNをループを時間方向に「展開（unroll）」し、通常のフィードフォワードネットと同様に逆伝播を行う - 時系列長が長いほど深いネットワークと等価になるため、**勾配消失・勾配爆発**が発生しやすい - 対策: 勾配クリッピング（爆発対策）、LSTMやGRUのゲート機構（消失対策） - **Truncated BPTT**：長い系列を一定長のチャンクで打ち切って逆伝播し、計算コストと勾配問題を緩和する実用手法 - BPTT自体は勾配消失・爆発を解消しない（同じ重み行列を時間ステップ分繰り返し掛けるため、固有値<1で消失、>1で爆発）。ゲート機構（LSTM/GRU）が緩和策であり、BPTTがゲートを不要にするわけでもない ← ひっかけ - cf. [[RNN]], [[勾配消失問題]], [[LSTM]]