↑: [[G検定に関する知識]] - Transformerに順序の概念を持たせるために入力埋め込みに加算するベクトル - Attentionだけでは単語の位置（順序）を区別できないため必要 - 元論文ではサイン・コサイン関数で位置ごとに異なるパターンを生成し加算 - 同じ単語でも位置が違えば違う扱いができるようになる - cf. [[Transformer]], [[Self-Attention]] - 必要な理由：Self-Attentionは**位置不変**な操作（要素の順序を入れ替えても各要素への対応が同様に変わるだけ）で、それ自体は語順情報を持たない ← 「位置依存」「逐次処理」は誤り - 原論文はサイン・コサインの固定エンコーディング。後に学習可能な位置埋め込みも提案された