↑: [[G検定に関する知識]] - 人間のフィードバックを報酬として使う強化学習の手法 - ChatGPTなどの大規模言語モデルの調整（人間の好みに沿った出力）に使われている - 人間が複数の出力を比較・評価し、その好みを報酬モデルとして学習する - 手順：人間の選好データ（出力のランキング）から**報酬モデル**を学習 → その報酬を最大化するように**PPO**で言語モデルを最適化。InstructGPT・ChatGPTのアライメントに使用 - 区別：ファインチューニング＝特定タスク向けの追加学習一般 / 知識蒸留＝大モデルの知識を小モデルへ移す圧縮。いずれも報酬モデル＋PPOは使わない - Reinforcement Learning from Human Feedback - LLMの精度と安全性を高めるための強化学習手法 - 3ステップ：①候補を生成 → ②人間がランキング → ③報酬モデルを訓練して強化学習で更新 - cf. [[強化学習]], [[LLM]], [[PPO]], [[深層強化学習]]