↑: [[G検定に関する知識]] - Contrastive Language-Image Pre-Training（OpenAI開発） - 画像と文章を同時に学習する事前学習済みモデル - 「この画像にはこのテキストが対応する」という対照学習で両方を統合的に理解 - 画像生成（DALL-E等）や画像検索・ゼロショット分類の基盤として使われる - 構成：画像エンコーダ（ResNet/ViT）とテキストエンコーダ（Transformer）を別々に持ち、共通の埋め込み空間に揃える - 学習：バッチ内N組でN×Nの類似度行列を作り、正しいペアのコサイン類似度を上げ・誤ったペアを下げる（**InfoNCE損失**） - ゼロショット推論：クラス名を「a photo of a {class}」のようなプロンプトでベクトル化し、画像ベクトルと最も類似度が高いクラスを選ぶ - ひっかけ：敵対的学習（GAN）・自己回帰（GPT）ではなく**対照学習**。少数例を使うフューショットではなく**ゼロショット** ← 重要 - ゼロショット画像分類が可能（ラベルなしで分類できる） - cf. [[事前学習]], [[転移学習]], [[生成AI]], [[対照学習]], [[DALL-E]], [[Stable Diffusion]], [[ゼロショット学習]]