↑: [[G検定に関する知識]]
- 新しいタスクを学習すると、以前学んだ知識が上書きされて消えてしまう現象
- ファインチューニングを繰り返すときの注意点
- 例:猫を学んだモデルに犬を追加学習→猫の精度が大幅低下
- 対策:重要な重みを守る手法(EWC等)やLoRA等の軽量ファインチューニング
- cf. [[ファインチューニング]], [[転移学習]]
- 継続学習(Continual Learning)の課題として研究されている
- ひっかけ:「学習率を段階的に増加させる現象」ではなく、新タスク学習で旧タスクの性能が大幅に低下する**現象**