Learning Transferable Visual Models From Natural Language Supervision

Alec Radford; Jong Wook Kim; Chris Hallacy; Aditya Ramesh; Gabriel Goh; Sandhini Agarwal; Girish Sastry; Amanda Askell; Pamela Mishkin; Jack Clark; Gretchen Krueger; Ilya Sutskever

論文 · arXiv 2103.00020

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

公開日 2021-02-26cs.CVcs.LG arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 標準的なコンピュータビジョンシステムは固定された所定のラベルセットに依存しており、高コストなアノテーションを必要とし、未知の視覚的概念に汎化できません。
🔧 Contrastive Language-Image Pre-training (CLIP) は、大規模なバッチ全体で一致する画像・キャプションのペアのコサイン類似度を対称クロスエントロピー損失を用いて最大化するように、画像エンコーダとテキストエンコーダを共同で学習します。
📈 ImageNetの128万枚のラベル付きサンプルを一切使用せず、ゼロショットで完全教師ありResNet-50のTop-1精度76.2%に匹敵します。

概要

最先端のコンピュータビジョンシステムは、事前に定義された固定された物体カテゴリのセットを予測するように訓練されています。この限定的な教師あり学習の形式は、他の視覚的概念を指定するために追加のアノテーション付きデータが必要となるため、汎用性と実用性を制約します。画像に関する生テキストから直接学習することは、はるかに広範な教師情報を活用できる有望な代替アプローチです。本研究では、インターネットから収集した4億組の（画像、テキスト）ペアからなるデータセットを用い、どのキャプションがどの画像に対応するかを予測するシンプルな事前学習タスクが、スクラッチからSOTA画像表現を学習するための効率的かつスケーラブルな手法であることを実証します。事前学習後、学習した視覚的概念を参照する（または新しい概念を記述する）ために自然言語が用いられ、下流タスクへのモデルのゼロショット転移が可能になります。OCR、動画内の行動認識、ジオロケーション、多様な細粒度物体分類などのタスクにまたがる30以上の既存コンピュータビジョンデータセットでベンチマークを実施し、本アプローチの性能を検証しました。このモデルはほとんどのタスクに対して有意に転移し、データセット固有の学習を一切行うことなく、完全教師ありベースラインと競合することが多いです。例えば、ImageNetにおいて学習に使用された128万枚の訓練例を一切使用せず、ゼロショットでオリジナルのResNet-50の精度に匹敵します。コードと事前学習済みモデルの重みは https://github.com/OpenAI/CLIP で公開しています。

英語の原文概要

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

論文解説

問題設定と動機

最先端のビジョンモデルは従来、ImageNetのようなクラウドソーシングでラベル付けされた閉じたクラスセットのベンチマークに依存してきました。この固定ラベルのパラダイムは実用性を制限します。対象の語彙に含まれない概念を認識するには、新しいデータを収集してアノテーションを付与する必要があります。対照的に、自然言語処理分野では、Webスケールのテキストでタスク非依存に直接事前学習を行う方針（GPT-3など）へと移行が成功しており、テキスト対テキストのインターフェースを介したゼロショット汎化が可能なモデルが生み出されています。著者らは、Webスケールのデータに対する自然言語による教師あり学習をスケールさせることで、データセット固有の教師ありファインチューニングを行うことなく、コンピュータビジョンタスク全般に広く汎化する視覚表現を獲得できるかを検証しています。

主要なアイデア

自然言語の教師信号からの学習: Webからスクレイピングした（画像、テキスト）ペアを訓練信号として扱うことで、視覚的特徴を豊富な自然言語のセマンティクスに直接結びつけ、 $1$ -of- $N$ の離散クラスラベリングを回避します。
効率性のための対照学習: 正確なテキストトークンを予測する生成キャプショニングは計算リソースを浪費します。目的関数を対照的なマッチングタスク（ミニバッチ内で正しい（画像、テキスト）ペアと誤ったペアを識別する）として定式化することで、Bag-of-Words予測よりも4倍サンプル効率が高く、生成モデルよりもはるかに高速であることが証明されました。
動的線形分類器としてのゼロショット分類: 対象データセットの各クラスは、テキストエンコーダを通じて特徴ベクトルへと埋め込まれます。これらのベクトルは、画像埋め込みに対するゼロショット線形分類器の重みとして機能します。
プロンプトエンジニアリングとアンサンブル: ゼロショット性能はプロンプトの構文や文脈に敏感です。クラス名を完全な文（例: "A photo of a {label}."）に埋め込み、複数のプロンプトバリエーションでアンサンブルを行うことで、ImageNetでのゼロショット転移性能が約5ポイント向上します。

手法（主要な数式を含む）

CLIPは、インターネットからスクレイピングした4億組の（画像、テキスト）ペアのデータセット（WIT）を用いて、画像エンコーダ $f_{image}$ とテキストエンコーダ $f_{text}$ を共同学習させることで、マルチモーダルな埋め込み空間を構築します。

特徴抽出と射影: $i \in {1, \dots, N}$ の $N$ 個の画像・テキストペア $(I_{i}, T_{i})$ からなるミニバッチが与えられると、各エンコーダは線形射影 $W_{i}$ および $W_{t}$ によって入力を共通の次元 $d$ に写像します: $I_{i}^{e} = \frac{f _{image} ( I _{i} ) W _{i}}{∥ f _{image} ( I _{i} ) W _{i} ∥ _{2}}, T_{j}^{e} = \frac{f _{text} ( T _{j} ) W _{t}}{∥ f _{text} ( T _{j} ) W _{t} ∥ _{2}}$
類似度行列: ロジットはスケーリングされたコサイン類似度によって計算されます: $S_{i, j} = \frac{⟨ I _{i}^{e} , T _{j}^{e} ⟩}{τ}$ ここで $τ$ は0.07で初期化される学習可能な温度パラメータであり、ロジットが100を超えないようクリッピングされます。
対称クロスエントロピー損失: 全体の損失は、 $N \times N$ のペアリング行列における画像からテキストへの分類損失と、テキストから画像への分類損失の平均です: $L = \frac{1}{2} (- \frac{1}{N} i = 1 \sum N lo g \frac{exp ( S _{i, i} )}{\sum _{j = 1}^{N} exp ( S _{i, j} )} - \frac{1}{N} j = 1 \sum N lo g \frac{exp ( S _{j, j} )}{\sum _{i = 1}^{N} exp ( S _{i, j} )})$
ゼロショット推論: $K$ 個のクラスを持つデータセットにおいて、テキストテンプレート（例: "a photo of a {class_name}"）が $w_{k} = T_{k}^{e}$ としてエンコードされます。テスト画像 $x$ に対する予測確率は以下のようになります: $p (y = k ∣ x) = \frac{exp (⟨ I _{x}^{e} , w _{k} ⟩ / τ )}{\sum _{j = 1}^{K} exp (⟨ I _{x}^{e} , w _{j} ⟩ / τ )}$

結果（最も重要な数値）

ゼロショットImageNet: CLIP（ViT-L/14@336px）は、ImageNetでゼロショットのTop-1精度76.2%（Top-5精度95%）を達成し、128万枚の訓練画像を使用することなくオリジナルの教師ありResNet-50に匹敵しました。
ゼロショット vs 教師ありベースライン: 27の下流データセットで評価したところ、ゼロショットCLIPは27データセット中16データセットで、標準的なResNet-50特徴量の上に構築された完全教師あり線形プローブ（Linear Probe）を上回りました。
Few-Shot比較: ゼロショットCLIPは、全く同じCLIP特徴表現で学習された4-shot線形分類器の平均性能に匹敵し、16-shotのBiT-M ResNet-152x2モデルと同等です。
線形プローブによる表現品質: 凍結された特徴表現を教師あり線形プローブで評価した場合、CLIPの最高モデルは27データセット中21データセットでNoisy Student EfficientNet-L2を上回り、OCR、動画行動認識（Kinetics-700: ResNet-50比で+14.5%）、ジオロケーションで優れた性能を示しました。
分布シフトに対する頑健性: 7つの自然な分布シフトデータセット（ImageNetV2、ImageNet-R、ImageNet-A、ObjectNetなど）において、ゼロショットCLIPは、通常のImageNet訓練済みモデルと比較して、分布内と分布外の間の精度低下を最大75%削減しました。

限界と未解決の課題

抽象的・専門的・体系的なタスク: ゼロショットCLIPは、物体数のカウント（CLEVRCounts）、微細な差異の識別（FGVCAircraft、Flowers102）、およびWebテキストで一般的ではないドメイン固有のタスク（PatchCamelyonでの腫瘍検出、KITTIでの距離推定）において著しく苦戦します。
真の分布外データ: MNISTの手書き数字において、ゼロショットCLIPの精度はわずか88%にとどまり、生ピクセルに対するロジスティック回帰を下回りました。これは、CLIPが分布外データに対する脆弱性を根本的に解決したのではなく、回避しているに過ぎないことを示しています。
計算リソースの要件: 既存のスケーリング傾向に基づくと、完全にゼロショットのみですべてのベンチマークにおいて教師ありSOTAを達成するには、推定で1000倍の計算量増加が必要とされます。
社会的バイアスと中傷: FairFaceベンチマークによる検証では、黒人や若年層に対して人間以外や犯罪に関連する誤分類が偏るなど、顕著で不均衡な失敗モードが明らかになり、これらはクラスラベルの設計や閾値の設定に大きく左右されます。

重要用語

CLIP: Contrastive Language-Image Pre-training（対照言語画像事前学習）; ペアになったWebデータに対する対照学習の目的関数を用いて、画像エンコーダとテキストエンコーダを共同で学習するフレームワーク。
WIT: WebImageText; 50万語のクエリ用語を用いてインターネットソースから収集された、OpenAIがキュレーションした4億組の（画像、テキスト）ペアからなるデータセット。
Zero-Shot Transfer: ターゲットタスクに対してパラメータを更新することなく、自然言語による概念記述を用いて未知のデータセットやタスクでモデルを評価すること。
Prompt Engineering: 事前学習時のテキスト分布とのギャップを埋めるために、クラス名を自然言語の文脈テンプレート（例: 'A photo of a {label}, a type of pet.'）として定式化すること。
Prompt Ensembling: 分類の類似度を計算する前に、同一クラスに対して複数の異なる文脈プロンプトから生成されたテキスト埋め込みベクトルを平均化すること。
Effective Robustness: 標準的なベースラインのスケーリング傾向に基づき、分布内性能から予想される水準を超えて達成される分布外精度の向上。
Linear Probe: 表現の品質を測定するために、凍結された事前学習済み特徴表現の上に訓練される、正則化された教師あり線形分類層。
Attention Pooling: グローバル平均プーリングされた特徴量を条件とする単一層のマルチヘッドQKVアテンションとして実装された、ResNetバックボーン向けの改良型空間プーリング層。

よくある質問

なぜCLIPは画像キャプション生成ではなく対照学習を選択したのですか？

生成型のキャプショニングモデルは正確なテキストトークンを予測しようとしますが、キャプション表現の多様性が非常に高いため膨大な計算量が必要となります。対照学習は画像とテキスト全体をマッチングするという、より単純な代理タスクを解くため、Bag-of-Words予測よりも4倍計算効率が高く、生成モデルよりも1桁以上効率的であることが証明されています。

CLIPのテスト時におけるゼロショット分類はどのように機能しますか？

すべての候補クラスラベルがテキストプロンプトテンプレートに挿入され、テキストエンコーダを介して埋め込まれます。これらの正規化された埋め込みが動的線形分類器の固定重みベクトルとして機能し、コサイン類似度とソフトマックス関数によって正規化画像埋め込みに対して評価されます。

なぜゼロショットCLIPは教師ありImageNetモデルよりも分布シフトに対して頑健なのですか？

教師ありImageNetモデルは、ImageNetの視覚的分布に特有の見せかけの相関や表面的な統計量を頻繁に記憶します。ゼロショットCLIPはターゲットの訓練分布へのファインチューニングを回避するため、ImageNet-A、ObjectNet、ImageNet-Rなどの分布シフトが生じたデータセットで評価した際にも、性能低下の幅を大幅に抑えることができます。

訓練セットとの重複がCLIPの強力なゼロショットベンチマーク結果の要因ですか？

いいえ。データの重複排除分析によると、35の下流データセット全体における重複の中央値はわずか2.2%でした。重複したサンプルを除去しても評価精度が0.1%を超えて変化することはほとんどなく、検出された最大の向上でもBirdsnapにおける0.6%にとどまりました。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）