↑: [[G検定に関する知識]] - 観測データが得られる確率（尤度）を最大化するパラメータを推定する統計的手法 - 「いま手元のデータが生まれる確率が最も高くなるパラメータを逆算する」 - 重要な性質 - 一致性：サンプル数増加で真のパラメータに収束 - 漸近有効性：大標本では最小分散を達成（優れた推定法） - 機械学習との関連 - ニューラルネットワークの交差エントロピー損失の最小化 ≡ 対数尤度の最大化 - ロジスティック回帰の係数推定にも使用 - [[KLダイバージェンス]]最小化とも等価な関係 - MAP推定との関係：事前確率×尤度（事後確率）を最大化するのはMAP推定。最尤法は**事前分布を一様としたMAPの特殊ケース**（逆ではない）← ひっかけ - 過学習を防ぐ保証はない（少データでは過学習しうる）。L2正則化付き最尤推定＝ガウス事前分布のMAP推定に相当 - 誤差が正規分布に従う線形回帰では**最小二乗法と同じ推定結果**（「いかなる仮定下でも一致しない」は誤り） - MLE（Maximum Likelihood Estimation）。「この観測結果が最も起こりやすくなるパラメータ」を選ぶ推定法 - 例：コインを10回投げて表が7回→p=0.7が最もこの結果を起こしやすい - cf. [[最小二乗法]], [[帰無仮説]], [[AIに必要な数理・統計知識]]