↑: [[G検定に関する知識]] - **同じ文章内**の各単語が他の単語とどれだけ関係するかを計算する機構 - 「自己」＝入力と出力が同じ系列内で完結する - [[Transformer]]の核心技術 - [[Encoder-Decoder Attention]]との違い - Self-Attention：同一系列内での注意（入力文内、または出力文内） - Encoder-Decoder Attention：入力文と出力文の異なる系列間の注意 - Q・K・Vすべてを同じ入力から生成する - 同じ単語でも文脈（隣の語）によって意味が変わることを捉えられる（例:「明るい性格」と「明るい部屋」） - cf. [[Attention]], [[Multi-Head Attention]], [[Transformer]]