↑: [[G検定に関する知識]] - 強化学習が解くべき問題を数学的に定式化した基本枠組み - 4要素で構成される - **状態（State）**：エージェントが置かれている状況 - **行動（Action）**：取ることができる行動 - **報酬（Reward）**：行動の結果として得られる値 - **遷移確率（Transition Probability）**：次の状態への変化確率 - 方策（Policy）もMDPの枠組みで定義・学習される（含まないではない） - [[マルコフ性]]を前提とする：現在の状態だけで未来が決まる - 教師あり学習ではなく**強化学習**の枠組み - 割引率γを含めて**5要素（S・A・R・遷移確率P・γ）**で定義されることも多い - [[バンディット問題]]との関係：状態を持たず行動と即時報酬のみで定義されるのがバンディット問題。MDPはそれを**状態付きに一般化**した枠組み - マルコフ性は「次状態が**現在の状態と行動のみ**に依存」。「過去すべての履歴に依存」は定義の取り違え ← ひっかけ - Q学習・SARSA・方策勾配法など、ほぼすべての強化学習手法がこの枠組みで定式化される - cf. [[強化学習]], [[マルコフ性]], [[割引率]]