↑: [[G検定に関する知識]] - エピソードが終了してから得られた累積報酬を使って学習するアプローチ - 強化学習の文脈では[[REINFORCE]]がこれに基づく - **エピソード全体を使って一括更新**する - [[TD学習]]との対比 - モンテカルロ法：エピソード終了後に一括更新 - TD学習：1ステップごとにTD誤差で逐次更新 - でたらめな試行を大量に繰り返して結果を統計的に推定する手法 - 1940年代、スタニスワフ・ウラムとフォン・ノイマンがマンハッタン計画で考案 - ゲームAIへの応用：囲碁AIでランダムに終局までシミュレーションし、勝率の高い手を選ぶ（モンテカルロ木探索） - AlphaGoの核技術のひとつ。囲碁の組み合わせが天文学的に多くミニマックス法では対応不可なため採用 - cf. [[ミニマックス法]], [[アルファベータ法]]