↑: [[【G検定2026年難化トレンド対応】模擬試験5回分(725問)〜本番で焦らないための問題集〜]]
- 通常の[[ニューラルネットワーク]](DNNや[[CNN]])は、入力されたデータを処理したら忘れる
- [[RNN]]は前の時刻の計算結果を次の時刻の入力とともに再利用する
- この結果文脈や流れが理解できるようになる
- [[RNN]]の弱点
- [[勾配消失問題]]
- [[RNN]]は[[BPTT]]という手法を使って学ぶ
- 文章が長くなると遠い過去のことを忘れてしまう
- 並列化できない
- 前の単語の計算が終わらないと次の単語の計算に入れない
- 逐次的なので[[GPU]]を使っても高速化しにくい
- 対策
- [[LSTM]]や[[GRU]]が出てきた
- 範囲: [[ディープラーニングの要素技術]]