A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

论文 · arXiv 2002.05709

SimCLR：视觉表征对比学习的简明框架

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

发表于 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

🎯 以往的对比自监督方法依赖于复杂的架构设计、内存库或专门的上下文聚合网络。
🔧 SimCLR 使用标准 ResNet、非线性投影头、大 mini-batch 负样本以及 NT-Xent 损失，最大化同一图像不同增强视图之间的隐式一致性。
📈 基于 SimCLR ResNet-50 (4×) 的线性分类器在 ImageNet 上取得了 76.5% 的 top-1 准确率，仅使用 1% 标签微调即可达到 85.8% 的 top-5 准确率。

摘要

本文提出了 SimCLR：一种用于视觉表征对比学习的简明框架。我们简化了近期提出的对比自监督学习算法，既不需要专门的架构，也不需要内存库（memory bank）。为了理解促使对比预测任务学习到有用表征的核心因素，我们系统地研究了该框架的主要组成部分。研究表明：(1) 数据增强的组合方式在构建有效的预测任务中起着至关重要的作用；(2) 在表征与对比损失之间引入可学习的非线性变换能显著提高所学表征的质量；(3) 与有监督学习相比，对比学习能够从更大的批次大小（batch size）和更长的训练步数中获益。结合这些发现，我们在 ImageNet 上的自监督与半监督学习任务中大幅超越了以往的方法。在 SimCLR 学习到的自监督表征上训练的线性分类器取得了 76.5% 的 top-1 准确率，相较于此前的最先进技术实现了 7% 的相对提升，性能与有监督的 ResNet-50 相当。当仅在 1% 的标签上进行微调时，模型达到了 85.8% 的 top-5 准确率，以 100 倍更少的标签超越了 AlexNet。

英文原文摘要

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

论文解读

问题与动机

在没有人类标注的情况下学习视觉表征通常依赖于生成模型或启发式前置任务（例如拼图、旋转预测、着色）。对比学习方法取得了更优的性能，但往往引入了专门的上下文聚合架构（如 CPC 中的 PixelCNN）、受限的感受野，或显式内存库（如 MoCo 或 InstDisc）来提供负样本对。SimCLR 解决了这些复杂性，表明仅通过使用标准编码器、批内负样本对以及系统的数据增强设计这一简明框架，就能在不依赖架构变通方案的情况下超越先前的方法。

核心思想

数据增强组合定义了预测任务：无需修改网络架构来强制进行空间上下文预测，随机数据增强的组合——特别是随机裁剪与色彩失真（color distortion）的组合——可以防止网络走捷径（如匹配颜色直方图），并迫使网络提取语义特征。
更强的数据增强有利于对比学习：像剧烈的颜色抖动这类会降低有监督训练性能的增强操作，却能显著提升自监督对比学习的效果。
非线性投影头：在编码器表征 $h$ 和对比损失之间引入一个小型 MLP $g (\cdot)$ ，能有效提高表征质量。因为 $z = g (h)$ 被训练为对各种变换具有不变性，在训练后丢弃 $g (\cdot)$ 可以保留 $h$ 中对下游任务有益的变换敏感信息。
通过大批次和长时间训练扩展负样本规模：SimCLR 不采用显式内存库，而是依赖于通过 LARS 优化的大批次大小（最高达 8192），每个正样本对可以在批内获得成千上万个负样本对。
全局批归一化（Global Batch Normalization）：为了避免网络利用设备内部的批归一化统计量来识别正样本对这一捷径，批归一化的均值和方差在所有分布式加速器之间进行同步。

方法

对于采样的包含 $N$ 张图像的 minibatch，每个样本 $x_{k}$ 经过两个不同的随机增强变换 $t, t^{'} \sim T$ ，在共计 $2 N$ 个增强样本中生成一个正样本对 $(\tilde{x}_{i}, \tilde{x}_{j})$ 。

基础编码器： $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ ，从平均池化层提取特征表征。
投影头： $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ ，通过包含一个隐藏层和 ReLU 激活函数 $σ$ 的网络将表征映射到 128 维隐空间。
NT-Xent 损失：归一化向量之间的余弦相似度定义为 $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ 。对于正样本对 $(i, j)$ ，其损失为： $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ 其中 $τ$ 为温度超参数，当且仅当 $k \neq = i$ 时 $\mathbbm 1_{[k \neq = i]}$ 取值为 $1$ 。总损失 $L$ 是批次中所有 $2 N$ 个正样本对损失的平均值。

训练完成后，丢弃 $g (\cdot)$ ，并将 $h$ 用于下游线性分类评估或微调。

结果

ImageNet 线性评估：采用标准 ResNet-50 的 SimCLR 达到了 69.3% 的 top-1 准确率（持平或超越以往的自监督模型）。扩展到 ResNet-50 ( $4 \times$ ) 时达到了 76.5% 的 top-1 准确率，媲美完全有监督的标准 ResNet-50。
半监督微调：仅使用 1% 的 ImageNet 标签微调时，ResNet-50 ( $4 \times$ ) 达到了 85.8% 的 top-5 准确率（以及 63.0% 的 top-1 准确率），超越了使用 100% 标签训练的 AlexNet。
迁移学习：在 12 个自然图像分类数据集上，微调后的 SimCLR ResNet-50 ( $4 \times$ ) 在 10 个数据集上持平或超越了有监督基线。
投影头消融实验：在 ImageNet 线性评估中，使用非线性投影头比线性投影头性能高出 3%，比不使用投影头高出超过 10%。

局限性与开放问题

算力开销巨大：为了取得最佳结果，模型训练需要极大的 mini-batch 规模（如 4096 或 8192）和较长的训练周期（高达 1000 个 epoch），这需要大型计算加速集群（32–128 个 TPU 核心）。
迁移任务上的架构差距：虽然 ResNet-50 ( $4 \times$ ) 在迁移基准上持平或超越了有监督基线，但标准 ResNet-50 在所有线性评估任务中仍然落后于有监督基线。
信息权衡机制：投影头在迫使 $z$ 保持变换不变性的同时使 $h$ 保留变换特异性信息的底层机制，目前主要依赖经验启发，缺乏系统性的分析理论框架。

关键术语

SimCLR: 一种用于视觉表征对比学习的简明框架，结合了数据增强、基础编码器、非线性投影头以及归一化温度缩放交叉熵损失。
NT-Xent: 归一化温度缩放交叉熵损失（Normalized Temperature-scaled Cross Entropy loss），在批内正负样本对之间应用带温度缩放的余弦相似度计算损失。
Projection Head: 投影头（Projection Head），在预训练期间接在基础编码器之后的小型单隐藏层多层感知机（MLP），在下游评估前会被丢弃。
Global BN: 全局批归一化（Global Batch Normalization），在所有分布式计算设备间聚合均值和方差，以防止模型将设备内部统计量用作信息捷径。
Linear Evaluation Protocol: 线性评估协议（Linear Evaluation Protocol），自监督学习中的标准评估方法，在冻结的特征提取器之上训练线性分类器以衡量表征质量。
LARS: 分层自适应速率缩放（Layer-wise Adaptive Rate Scaling）优化器，用于在扩展到超大批次大小时保持模型训练的稳定性。

常见问题

为什么在使用随机裁剪时必须配合颜色抖动？

来自同一张图像的随机裁剪块通常共享极其相似的颜色直方图。如果不进行颜色失真处理，模型很容易直接利用颜色分布匹配这一捷径来识别正样本对，而无需学习高层次的语义特征。

为什么投影头之前的表征 ($h$) 比之后的 ($z$) 更好？

对比损失会训练输出向量 $z$ 完全对输入的数据增强变换保持不变。非线性投影头 $g$ 吸收了这一变换特异性细节（如颜色和方向）的损失，从而让 $h$ 保留更丰富、更具通用泛化性的特征信息。

SimCLR 是如何做到不使用内存库的？

SimCLR 采用了极大的 minibatch 规模（从 256 到 8192 不等）。大小为 $N$ 的批次可直接在批内为每个正样本对提供 $2 (N - 1)$ 个负样本，从而免去了对单独内存库或动量编码器的依赖。

为什么 SimCLR 需要全局批归一化（Global BN）？

因为一个正样本对的两个视图通常是在同一个加速器设备上计算的，标准的本地批归一化会产生信息捷径，使设备内部的统计量泄漏样本身份。在所有分布式工作设备间同步聚合 BN 统计量可以消除这种捷径。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）