↑: [[G検定に関する知識]] - DeepMindが開発したマルチモーダル大規模言語モデル - 画像を見ながら会話できるモデル(チャットの流れに画像をそのまま挟める) - ChatGPTやGeminiの画像理解機能の先駆けとなったモデル - cf. [[マルチモーダル]], [[基盤モデル]], [[VQA]] - 仕組み:事前学習済みの視覚エンコーダと大規模言語モデルを凍結し、**Gated Cross-Attention**で連結(DeepMind 2022) - 少数のデモ例(**Few-shot**)でVQAや画像キャプション生成に対応できる