↑: [[G検定に関する知識]] - OpenAIが開発したTransformerベースの言語モデル - **自己回帰型**：過去の単語列から次の単語を予測して生成する - **Transformerのデコーダのみ**で構成 - 文脈を**一方向（左→右）**に読む - 文章生成・要約・翻訳など生成系タスクに強い - [[BERT]]との対比 - GPT：デコーダのみ・一方向・生成タスクに強い - BERT：エンコーダのみ・双方向・理解タスクに強い - 事前学習タスク：**次トークン予測（Causal Language Modeling）**。BERTのマスク言語モデル（MLM）＋NSPとは根本的に異なる - GPT-3はFew-shot学習を実証。ChatGPTはGPT-3.5/4を**RLHF**で対話向けに微調整したもの - 混同注意：**PaLM**（Google）もデコーダ型の生成モデル（BERT型双方向エンコーダではない）/ **ELMo**は双方向LSTMでGPTの直接の前身ではない ← ひっかけ - 用語：大規模事前学習で多様なタスクに転用できるモデル＝[[基盤モデル]] - 巨大化したものがLLM（大規模言語モデル）の代表例 - cf. [[BERT]], [[ChatGPT]], [[LLM]], [[Transformer]]