↑: [[G検定に関する知識]]
- 1つのモデルで複数タスクをこなすマルチモーダルモデル
- 対応タスク:画像分類・物体検出・セグメンテーション・画像説明・VQA
- 入出力を統一した形式(トークン列)で表現することで実現
- cf. [[マルチモーダル]], [[マルチタスク学習]], [[基盤モデル]]
- 本質:テキスト・画像・音声・動画などを共通の**離散トークン列**に変換し、**単一のTransformer**で系列変換問題として統一処理する
- ひっかけ:「モダリティごとに最適化した専用CNNを複数組み合わせる」は誤り ← 重要