↑: [[G検定に関する知識]] - RNNを使わず**Attentionだけ**で組み立てた系列変換モデル（2017年, Vaswani et al.） - エンコーダ（Self-Attention + Feed Forward）×N層 と デコーダ（Self-Attention + Source-Target Attention + Feed Forward）×N層 の構成 - 並列計算が可能なため学習が速く、離れた語の関係にも強い - BERT・GPT・ChatGPTなど現代のAIはすべてTransformerの派生 - RNNと違い順序情報を持たないため**位置エンコーディング**を加算して補う - cf. [[Multi-Head Attention]], [[Self-Attention-G検定]], [[位置エンコーディング]]