↑: [[G検定に関する知識]] - 画像・テキスト・音声など複数種類のデータ（モダリティ）を組み合わせて処理するAI - 主要タスク - **Image Captioning**：画像→テキスト（画像の説明文を生成） - **[[VQA]]**：画像＋テキスト質問→テキスト回答 - **Text-to-Image**：テキスト→画像（Stable Diffusion・DALL-Eなど） - 代表モデルの整理（仕組みの違いが問われる） - [[CLIP]]（OpenAI 2021）：画像・テキストの対照学習でゼロショット画像分類 - [[Flamingo]]（DeepMind 2022）：凍結した視覚エンコーダとLLMを**Gated Cross-Attention**で連結。Few-shotでVQA・キャプション生成 - [[Unified-IO]]：全モダリティを離散トークン列に変換し**単一のTransformer**で処理（モダリティ別の専用CNNを組み合わせる構成ではない ← 重要） - [[DALL-E]]（OpenAI）：初代は自己回帰、DALL-E 2は拡散モデル。GANベースではない