↑: [[G検定に関する知識]] - 「正解」ではなく「報酬」を手がかりに、エージェントが試行錯誤しながら行動を学ぶ手法 - ループ：エージェントが行動 → 環境から状態・報酬を受け取る → 報酬の合計を最大化 - 方策（policy）＝状態から行動への対応関係 - 向いている問題：正解は不明だがゴールが明確・連続した意思決定・何度も試せる環境 - 応用：囲碁・将棋（AlphaGo）、ロボット制御、自動運転、対話AI（RLHF） - cf. [[マルコフ決定過程]] [[Q学習]] [[SARSA]] [[アクター・クリティック]] [[RLHF]] - 手法の2分類：**価値ベース**（Q学習・SARSA・DQN：価値関数を学び間接的に行動決定、離散行動向き）と**方策ベース**（REINFORCE・方策勾配法：方策を直接パラメータ化、連続行動向き・ロボット制御） - [[Actor-Critic]]は両者のハイブリッド（価値関数も使う）。PPOも広く使われる - 「方策ベースは離散行動のみ」は誤り（連続行動に強い）← ひっかけ - 教師なし学習（ラベルなしデータから構造発見：クラスタリング・次元削減）と混同しない。強化学習は報酬という間接的・遅延的な信号で学ぶ