↑: [[G検定に関する知識]]
- DeepMindが開発したマルチモーダル大規模言語モデル
- 画像を見ながら会話できるモデル(チャットの流れに画像をそのまま挟める)
- ChatGPTやGeminiの画像理解機能の先駆けとなったモデル
- cf. [[マルチモーダル]], [[基盤モデル]], [[VQA]]
- 仕組み:事前学習済みの視覚エンコーダと大規模言語モデルを凍結し、**Gated Cross-Attention**で連結(DeepMind 2022)
- 少数のデモ例(**Few-shot**)でVQAや画像キャプション生成に対応できる