↑: [[G検定に関する知識]] - RNNを使わず**Attentionだけ**で組み立てた系列変換モデル（2017年, Vaswani et al.） - エンコーダ（Self-Attention + Feed Forward）×N層 と デコーダ（Self-Attention + Source-Target Attention + Feed Forward）×N層 の構成 - 並列計算が可能なため学習が速く、離れた語の関係にも強い - BERT・GPT・ChatGPTなど現代のAIはすべてTransformerの派生 - RNNと違い順序情報を持たないため**位置エンコーディング**を加算して補う - cf. [[Multi-Head Attention]], [[Self-Attention]], [[位置エンコーディング]] - エンコーダは**Self-Attention＋Feed-Forwardの2サブレイヤーのみ**。 - Source-Target Attentionを持つのは**デコーダだけ**（マスク付きSelf-Attention・Source-Target Attention・Feed-Forwardの3サブレイヤー）← 頻出ひっかけ - デコーダのマスクは将来トークンを参照しない**causal mask**（自己回帰生成と整合）。Source-Target Attentionではエンコーダ出力をK・V、デコーダ状態をQとする - Self-Attentionの計算量は系列長の**二乗** O(n²)。長系列が課題（Sparse Attention等で効率化） - 背景：Seq2Seqの固定長**コンテキストベクトル**による情報欠落を、Attention → Self-Attentionで解消した