↑: [[G検定に関する知識]] - Attentionを**並列にいくつも**走らせる仕組み。各Attentionを「ヘッド」と呼ぶ - ヘッドごとに異なる注目の仕方を学ぶ（例: 文法の関係、意味の関係、直前を見る、全体をならすなど） - 各ヘッドの出力を連結・合成して最終出力を得る - 1つでは捉えきれない多角的な関係を同時に学べる。Transformerの核となる部品 - cf. [[Attention]], [[Self-Attention]], [[Transformer]] - 各ヘッドの出力は**平均化ではなく連結（concatenate）**し、線形変換W^Oを掛けて最終表現を得る。「平均化」は誤り（各ヘッドが捉えた異なる関係が打ち消し合う）← 重要 - 各ヘッドは独立した重み行列で低次元空間にQ・K・Vを射影し、Scaled Dot-Product Attention（softmax(QKᵀ/√d_k)V）を並列計算