↑: [[G検定に関する知識]] - Q学習をディープラーニングで拡張した手法 - 状態空間が巨大な場合（画像など）でもQを近似できる - 2013年DeepMindがAtariゲームで人間レベルを達成 - 安定化の2工夫：**経験再生（Experience Replay）**と**目標ネットワーク（Target Network）**（2015・DeepMind） - 欠点：max演算によりQ値を系統的に**過大評価**する - 改良の整理：[[Double DQN|ダブルDQN]]＝行動選択と価値評価を別ネットワークに分け過大評価を抑制 / [[Dueling Network|デュエリングネットワーク]]＝Q＝V（状態価値）＋A（アドバンテージ）に分解 / [[Rainbow]]＝ダブルDQN・デュエリング・優先度付き経験再生・多ステップ学習・分布的RL・ノイジーネットの6改良を統合 / [[Ape-X]]＝分散学習の枠組み - ゲーム画面（画像）を入力し、行動ごとのQ値を出力する - アタリのゲームで人間超えを達成し、深層強化学習ブームの火付け役 - cf. [[Q学習]], [[強化学習]], [[ディープラーニング-G検定]], [[深層強化学習]], [[Double DQN]], [[Rainbow]]