↑: [[G検定に関する知識]] - [[BERT]]の事前学習タスクの1つ - 文中の単語の15%を[MASK]に置き換え→前後の文脈から元の単語を予測 - 虫食い問題のような学習 - 左右両方向の文脈を使うため深い意味理解が可能