A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

論文 · arXiv 2002.05709

視覚表現の対照学習のためのシンプルなフレームワーク

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

公開日 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

XYZNOT で読む（全文翻訳と AI 解説）

3行まとめ

🎯 従来の自己教師あり対照学習手法は、複雑なアーキテクチャ設計、メモリバンク、または特殊なコンテキスト集約ネットワークに依存していた。
🔧 SimCLRは、標準的なResNet、非線形射影ヘッド、負例のための大規模ミニバッチ、およびNT-Xent損失を用い、異なるデータ拡張を施した画像ビュー間の潜在的な一致度を最大化する。
📈 SimCLRのResNet-50（4×）上の線形分類器はImageNetでTop-1精度76.5%を達成し、わずか1%のラベルによるファインチューニングでTop-5精度85.8%を記録した。

概要

本論文では、視覚表現の対照学習のためのシンプルなフレームワークであるSimCLRを提案する。我々は、特殊なアーキテクチャやメモリバンクを必要とすることなく、近年提案された自己教師あり対照学習アルゴリズムを簡素化した。対照予測タスクが有用な表現を学習できるようにする要因を理解するため、フレームワークの主要なコンポーネントを体系的に調査した。その結果、(1) データ拡張の組み合わせが効果的な予測タスクの定義において決定的な役割を果たすこと、(2) 表現と対照損失の間に学習可能な非線形変換を導入することで学習される表現の品質が大幅に向上すること、(3) 教師あり学習と比較して対照学習はより大きなバッチサイズと多くの学習ステップから恩恵を受けること、を示した。これらの知見を組み合わせることで、ImageNetにおける自己教師あり学習および半教師あり学習の従来手法を大幅に上回ることができた。SimCLRによって学習された自己教師あり表現上で訓練された線形分類器はTop-1精度76.5%を達成し、これは従来の最高水準を相対的に7%向上させ、教師ありResNet-50の性能に匹敵する。また、わずか1%のラベルのみでファインチューニングした場合でもTop-5精度85.8%を達成し、ラベル数を100分の1に抑えながらAlexNetを上回った。

英語の原文概要

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

論文解説

問題意識と動機

人間の教師なしで視覚表現を学習する手法は、通常、生成モデルやヒューリスティックなpretext task（ジグソーパズル、回転予測、着色など）に依存していた。対照学習（Contrastive Learning）手法はより優れた性能を達成したものの、負例のペアを提供するために、特殊なコンテキスト集約アーキテクチャ（CPCのPixelCNNなど）、制限された受容野、または明示的なメモリバンク（MoCoやInstDiscなど）を導入することが多かった。SimCLRは、標準的なエンコーダ、バッチ内の負例ペア、体系的なデータ拡張設計を用いたシンプルなフレームワークにより、アーキテクチャ上の工夫を凝らすことなく従来手法を凌駕できることを示すことで、これらの複雑さを解消した。

主要なアイデア

データ拡張の組み合わせが予測タスクを定義する: 空間的なコンテキスト予測を強制するためにネットワーク構造を変更するのではなく、データ拡張の確率的組み合わせ（特にランダムクロップと色歪みのペア）を用いることで、色のヒストグラムの一致などのショートカットを防ぎ、ネットワークに意味的特徴の抽出を強制する。
より強力なデータ拡張が対照学習に寄与する: 教師あり学習の性能を低下させるような強力なカラーディストーションなどのデータ拡張が、自己教師あり対照学習を大幅に改善する。
非線形射影ヘッド（Projection Head）: エンコーダの表現 $h$ と対照損失の間に小さなMLP $g (\cdot)$ を導入することで、表現の品質が向上する。 $z = g (h)$ は変換に対して不変になるように学習されるため、学習後に $g (\cdot)$ を破棄することで、ダウンストリームタスクに有益な変換依存の情報が $h$ に保持される。
大容量バッチと長時間の学習による負例のスケーリング: 明示的なメモリバンクの代わりに、SimCLRはLARSで最適化された大規模バッチサイズ（最大8192）に依存し、正例ペアごとに数千のバッチ内負例ペアを提供する。
Global Batch Normalization: ネットワークがデバイス内のバッチ正規化統計を利用して正例ペアを特定するというショートカットを防ぐため、すべての分散アクセラレータ間でバッチ正規化の平均と分散を同期する。

手法

サンプリングされた $N$ 個の画像ミニバッチに対して、各サンプル $x_{k}$ は2つの異なる確率的データ拡張 $t, t^{'} \sim T$ によって変換され、 $2 N$ 個の拡張サンプルの中に正例ペア $(\tilde{x}_{i}, \tilde{x}_{j})$ が生成される。

ベースエンコーダ: $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ 、平均プーリング層から表現を抽出する。
射影ヘッド（Projection Head）: $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ 、1つの隠れ層とReLU活性化関数 $σ$ を用いて、表現を128次元の潜在空間にマッピングする。
NT-Xent損失: 正規化されたベクトル間のコサイン類似度は $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ として定義される。正例ペア $(i, j)$ に対する損失は以下の通りである: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ ここで、 $τ$ は温度ハイパーパラメータであり、 $\mathbbm 1_{[k \neq = i]}$ は $k \neq = i$ のとき $1$ となる指示関数である。総損失 $L$ はバッチ内のすべての $2 N$ ペアの平均となる。

学習後、 $g (\cdot)$ は破棄され、 $h$ がダウンストリームの線形分類またはファインチューニングに使用される。

結果

ImageNetでの線形評価: 標準的なResNet-50を用いたSimCLRはTop-1精度69.3%を達成した（従来の自己教師ありモデルと同等以上）。ResNet-50 ( $4 \times$ ) にスケールアップするとTop-1精度76.5%に達し、完全教師ありの標準ResNet-50に匹敵する。
半教師ありファインチューニング: ImageNetのラベルのわずか1%でファインチューニングした場合、ResNet-50 ( $4 \times$ ) はTop-5精度85.8%（Top-1精度63.0%）を達成し、100%のラベルで学習されたAlexNetを上回った。
転移学習: 12種類の自然画像分類データセットにおいて、ファインチューニングされたSimCLR ResNet-50 ( $4 \times$ ) は、10のデータセットで教師ありベースラインと同等以上の性能を示した。
射影ヘッドのアブレーション: 非線形射影ヘッドを使用することで、ImageNetの線形評価において、線形射影と比較して+3%、射影なしと比較して10%以上の性能向上が見られた。

限界と未解決の課題

計算強度: 最高の結果を得るには、非常に大きなミニバッチサイズ（例: 4096や8192）と長時間の学習スケジュール（最大1000エポック）が必要であり、大規模なアクセラレータクラスタ（32〜128個のTPUコア）が必須となる。
転移におけるアーキテクチャの格差: ResNet-50 ( $4 \times$ ) は転移ベンチマークで教師ありベースラインと同等以上の成果を上げているが、標準のResNet-50はすべての線形評価タスクにおいて依然として教師ありベースラインに遅れをとっている。
情報のトレードオフ: 射影ヘッドが $z$ に不変性を強制しながら $h$ 内の変換固有の情報を保持するメカニズムは、理論的な枠組みというよりも経験的なヒューリスティックに依存している。

重要用語

SimCLR: データ拡張、ベースエンコーダ、非線形射影ヘッド、および正規化温度付き交差エントロピー損失を用いた、視覚表現の対照学習のためのシンプルなフレームワーク。
NT-Xent: バッチ内の負例ペアおよび正例ペア全体に温度スケーリングされたコサイン類似度を適用する正規化温度付き交差エントロピー損失（Normalized Temperature-scaled Cross Entropy loss）。
Projection Head: 事前学習中にベースエンコーダの後に適用され、ダウンストリームの評価前に破棄される、1つの隠れ層を持つ小さな多層パーセプトロン（射影ヘッド）。
Global BN: モデルがデバイス内の統計量を情報ショートカットとして使用するのを防ぐために、分散されたすべてのデバイス間で平均と分散を集約するバッチ正規化。
Linear Evaluation Protocol: 表現の品質を測定するために、凍結された特徴抽出器の上に線形分類器を学習させる、自己教師あり学習における標準的な評価プロトコル。
LARS: 極めて大きなバッチサイズにスケールさせる際に、学習を安定化させるために使用される層適応型レートスケーリング（Layer-wise Adaptive Rate Scaling）オプティマイザ。

よくある質問

ランダムクロップを使用する際にカラーディストーションが必要なのはなぜですか？

同じ画像からのランダムクロップは、通常、非常によく似た色ヒストグラムを共有しています。色の歪みがない場合、モデルは高レベルな意味的特徴を学習するのではなく、純粋にカラープロファイルの一致によって正例ペアを特定することを容易に学習してしまいます。

射影ヘッドの前の表現 ($h$) が後 ($z$) よりも優れているのはなぜですか？

対照損失は、適用されたデータ拡張に対して完全な不変性を持つように出力 $z$ を学習させます。非線形射影ヘッド $g$ がこの変換固有の詳細（色や向きなど）の損失を吸収するため、 $h$ にはより豊かで汎化性の高い情報が残ります。

SimCLRはどのようにしてメモリバンクの使用を回避していますか？

SimCLRは大きなミニバッチサイズ（256から最大8192）を使用します。バッチサイズ $N$ により、別個のメモリバンクやモメンタムエンコーダを必要とせず、バッチ内で正例ペアごとに $2 (N - 1)$ 個の負例サンプルを直接得ることができます。

SimCLRにGlobal Batch Normalizationが必要な理由は何ですか？

正例ペアの両方のビューは通常、同じアクセラレータデバイス上で処理されるため、標準的なローカルのBatch Normalizationではデバイス内統計がサンプルの同一性を漏洩させる情報ショートカットが生じます。すべてのワーカーデバイス間でBN統計を集約することで、このショートカットを排除できます。

このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。

XYZNOT で読む（全文翻訳と AI 解説）