↑: [[G検定に関する知識]] - ラベルなしデータから自動的に問題を生成して学習する手法 - 文章：穴埋め（マスクされた単語を予測）→ BERTの事前学習 - 画像：隠した部分を当てさせる - ラベルが0でも大量データで学習できる - BERTもGPTもこの仲間 - cf. [[半教師あり学習]], [[事前学習-G検定]]