↑: [[G検定に関する知識]] - [[RNN]]は異なる時刻の入力に対して[[共有重み]]を繰り返し適用して処理を進める - [[RNN]]は過去の状態を保持しながら処理を行う - 文章や音声など順序や文脈を持つデータに適している - [[RNN]]は内部状態(隠れ状態)を次に引き継ぐ - 標準的な[[RNN]]は[[BPTT]]させる際に[[勾配消失]]が非常に起きやすい - そのため長期的な依存関係の学習が苦手 - [[RNN]]は順序を逐次的に処理するためのネットワーク - 入力順序を無視して処理するのは[[Bag-of-Words]]など古典的な手法になる - [[RNN]]は時間的な繋がりを持つデータを扱うために開発されたモデル - [[DNN]]や[[CNN]]は入力したデータは一度処理したら忘れる - [[CNN]]は[[隠れ状態]]を次の時刻と一緒に再利用する - これで文脈や流れを理解できる - [[RNN]]には二つの弱点がある - [[RNN]]の弱点の一つは長期依存の学習が苦手なこと [[勾配消失問題]] - 前の単語の計算が終わってから次の計算に入るため並列化ができない - [[GPU]]を使っても処理が高速化しにくい - [[RNN]]は[[勾配]]が変動しやすい [[RMSprop|Cxze]] - 自分の出力（または隠れ状態）を次の時刻の入力として再び受け取る**回帰結合（循環結合）**を持つ - 対象データ: 自然言語、音声、金融データ、センサーデータなど「並び替えると意味が変わる」系列データ - 古典的な種類: エルマンネットワーク（隠れ層→隠れ層）、ジョルダンネットワーク（出力層→隠れ層） - cf. [[LSTM]], [[GRU]], [[BPTT]], [[双方向RNN]]