↑: [[G検定に関する知識]] - 強化学習にディープラーニングを組み合わせたもの - 画像のような複雑な状態を入力として扱えるようになった - 出発点はDeepMindのDQN（2013年）、AlphaGoやChatGPTのRLHFもこの分野から - cf. [[DQN]], [[RLHF]], [[A3C]], [[PPO]] - **残差強化学習（Residual RL）**：PID制御やモデルベース制御など既存ベースラインの出力に、強化学習で学んだ残差（補正量）を加算。ゼロから学ぶより安全でサンプル効率が高い - 連続値制御：DQNは離散行動向きで直接適用不可。**DDPG・SAC・PPO**など連続行動対応の方策勾配系が確立し、ロボットアーム・歩行制御で実用化（「実用領域から外れる」は誤り） - [[sim2real]]／[[ドメインランダマイゼーション]]：物理パラメータを正確に再現するのではなく**意図的にランダム化**してロバストな方策を得る。Sim-to-Real Gapをゼロにはできない ← ひっかけ - [[オフライン強化学習]]：環境との直接対話なしに固定ログデータのみから学習