↑: [[G検定に関する知識]] - 大量のデータで汎用的な知識を先に学ばせる段階 - 結果として得られる事前学習済みモデルが転移学習・ファインチューニングの土台になる - 代表例：文章理解=BERT / 文章生成=GPT / 画像=ResNet / 画像+文章=CLIP - cf. [[転移学習]], [[ファインチューニング]], [[自己教師あり学習-G検定]]