↑: [[G検定に関する知識]]
- 「答え」が訓練データに混ざること。英語でdata leakage（データの漏洩）
- 訓練時は高精度なのに本番でガタ落ち。試験前にこっそり答えを見たカンニングと同じ
- 典型パターン3つ：テストの混入（訓練データにテストが入る）、未来の情報（予測後に分かる値が特徴量に入る）、同一人物の分散（同じ人が訓練・テスト両方に）
- 落とし穴①医療画像：患者単位で分割する（画像単位ランダムだと同一患者の画像が両方に入る）
- 落とし穴②時系列：時系列分割を使う（ランダム分割だと未来で過去を予測することになる）
- 落とし穴③前処理の順序：訓練データだけで統計量を出し、それをテストに当てはめる（全体で標準化するとテスト情報が平均に漏れる）
- 「うますぎる結果はリークを疑え」
- cf. [[データの収集・加工・分析・学習]]