↑: [[G検定に関する知識]] - Googleが開発したTransformerベースの言語モデル - **Transformerのエンコーダのみ**で構成 - 文脈を**双方向（左→右・右→左を同時）**に理解する - 文章理解・分類・質問応答など理解タスクに強い - [[GPT]]との対比 - BERT：エンコーダのみ・双方向・理解タスクに強い - GPT：デコーダのみ・一方向・生成タスクに強い - 双方向（左右両方の文脈）を見てマスクされた単語を予測する事前学習（Masked Language Model） - GLUEベンチマークで高得点を出し、NLPの標準ベースラインとなった - cf. [[GPT]], [[ELMo]], [[Transformer]], [[GLUE]]