↑: [[G検定に関する知識]] - あらゆる問題の平均をとれば、どのアルゴリズムも性能は同じという数学的定理 - 「どんな問題にも最強なアルゴリズムは存在しない」 - 問題の性質に合わせて最適な手法を選ぶ必要がある - Wolpert & Macready（1997）。「考えうる全問題で平均すればどの探索・最適化アルゴリズムも性能は等しい」 - 実務的含意：対象問題の構造への前提（**帰納バイアス**）を適切に与えることが性能の鍵 - ひっかけ：「計算資源が無限なら単一手法で全問題を解ける」「深層学習は常に従来手法を上回る」「データを増やせば必ず汎化性能が向上する」はいずれも定理と正反対 - 直訳：「タダ飯はない」 - 機械学習全般に当てはまる原則：ある問題で優れた手法が別の問題では劣ることがある - 実践的意味：「とりあえずAdam」だけでは万能にならない。問題ごとに複数の手法を比較することが重要 - cf. [[Adam]], [[勾配降下法]]