↑: [[G検定に関する知識]] - 正解クラスの予測確率が高いほど誤差が小さくなる誤差関数 - **[[分類]]タスクの代表的な誤差関数** - ソフトマックスで確率に変え→交差エントロピーで損失を計算、が分類の鉄板パターン - ひとことで言えば「正解の確率を上げろ」と圧力をかける関数 - 交差エントロピー = 本物のエントロピー + KL情報量 - つまり交差エントロピーを下げることは、予測を本物の分布に近づけること - cf. [[誤差関数]], [[KL情報量]], [[ソフトマックス関数]] - MSEより分類に適する理由：シグモイド／ソフトマックス出力にMSEを使うと飽和領域で勾配にσ(z)(1−σ(z))が掛かりほぼ0になるが、交差エントロピーでは勾配が**σ(z)−y**と単純になり誤差が大きいほど大きな勾配が得られる ← 重要 - 理由は計算コストの低さではない。連続値の回帰には適さず、L2正則化とも別物 ← ひっかけ - ロジスティック回帰の対数尤度最大化（[[最尤法（MLE）]]）と等価