↑: [[G検定に関する知識]] - 2つの確率分布のズレを測る量 - ぴったり一致したときだけ0、離れるほど大きくなる - **非対称**：向きを入れかえると値が変わる（厳密には距離ではない） - 交差エントロピー = 本物のエントロピー + KL情報量 という関係にある - VAE（変分オートエンコーダ）の損失関数にも使われる - cf. [[交差エントロピー]], [[誤差関数]] - 定義：KL(P‖Q)=ΣP(x)log(P(x)/Q(x))。常に0以上（ギブスの不等式）で、P=Qのときのみ0 - ひっかけ：コサイン類似度の確率分布版ではなく、MSEと同一の誤差関数でもない