↑: [[G検定に関する知識]]
- Attentionを構成する3つの要素
- **クエリ(Q)**: 質問。何を知りたいかを表すベクトル
- **キー(K)**: 索引。各入力要素が「自分はこういう内容」と示すベクトル
- **バリュー(V)**: 中身。実際に取り出す情報のベクトル
- QとKの類似度(内積など)で注意重みを計算し、Vの加重和を出力する
- 図書館の例: Q=「ピアノについて知りたい」、K=本の索引、V=本の中身
- Attentionのあらゆる種類がこのQ・K・V構造を使う
- cf. [[Attention-G検定]], [[Self-Attention-G検定]]