↑: [[G検定に関する知識]]
- Attentionを**並列にいくつも**走らせる仕組み。各Attentionを「ヘッド」と呼ぶ
- ヘッドごとに異なる注目の仕方を学ぶ(例: 文法の関係、意味の関係、直前を見る、全体をならすなど)
- 各ヘッドの出力を連結・合成して最終出力を得る
- 1つでは捉えきれない多角的な関係を同時に学べる。Transformerの核となる部品
- cf. [[Attention-G検定]], [[Self-Attention-G検定]], [[Transformer]]