↑: [[G検定に関する知識]] - 2018年Google発表のTransformerエンコーダ型言語モデル - 双方向（左右両方の文脈）を見てマスクされた単語を予測する事前学習（Masked Language Model） - 分類・質問応答など「理解系タスク」に強い - GLUEベンチマークで高得点を出し、NLPの標準ベースラインとなった - cf. [[GPT]], [[ELMo]], [[Transformer]], [[GLUE]]