↑: [[G検定に関する知識]] - 大きな**教師モデル**の知識を小さな**生徒モデル**に継承させる学習手法 - モデル軽量化のために使われる（エッジAI・スマートフォン向け） - 教師モデルの**出力（Soft target）**を使って生徒モデルを学習させる - Soft target：各クラスの確率分布（「犬80%・猫15%・狼5%」のような推論の過程） - Hard target：正解ラベルのみ（「犬100%」） - **内部パラメータをコピーするのではない**（出力を模倣させる） - 学習時に教師・生徒モデルを同時に使用する