↑: [[G検定に関する知識]] - Transformerに順序の概念を持たせるために入力埋め込みに加算するベクトル - Attentionだけでは単語の位置（順序）を区別できないため必要 - 元論文ではサイン・コサイン関数で位置ごとに異なるパターンを生成し加算 - 同じ単語でも位置が違えば違う扱いができるようになる - cf. [[Transformer]], [[Self-Attention-G検定]]