A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

논문 · arXiv 2002.05709

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

게시일 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 기존의 대조 자기지도학습 방식은 복잡한 아키텍처 설계, 메모리 뱅크, 또는 특화된 컨텍스트 집합 네트워크에 의존했습니다.
🔧 SimCLR는 표준 ResNet, 비선형 프로젝션 헤드, 네거티브 샘플을 위한 대규모 미니배치, 그리고 NT-Xent 손실을 사용하여 서로 다르게 증강된 이미지 뷰 간의 잠재적 일치도를 극대화합니다.
📈 SimCLR ResNet-50 (4×) 기반의 선형 분류기는 ImageNet top-1 정확도 76.5%를 달성했으며, 단 1%의 레이블로 미세 조정한 경우에도 85.8%의 top-5 정확도를 기록했습니다.

초록

본 논문에서는 시각적 표현의 대조 학습을 위한 단순한 프레임워크인 SimCLR을 제안합니다. 특수한 아키텍처나 메모리 뱅크를 요구하지 않음으로써 최근 제안된 대조 자기지도학습 알고리즘들을 단순화했습니다. 대조 예측 태스크가 유용한 표현을 학습할 수 있게 하는 요인이 무엇인지 이해하기 위해, 우리는 프레임워크의 주요 구성 요소들을 체계적으로 연구합니다. 그 결과 (1) 데이터 증강의 조합이 효과적인 예측 태스크를 정의하는 데 결정적인 역할을 하며, (2) 표현 벡터와 대조 손실 사이에 학습 가능한 비선형 변환을 도입하면 학습된 표현의 품질이 크게 향상되고, (3) 대조 학습은 지도학습에 비해 더 큰 배치 크기와 더 많은 학습 스텝에서 더 큰 이점을 얻는다는 점을 보여줍니다. 이러한 발견들을 결합하여 ImageNet 상의 자기지도학습 및 준지도학습에서 이전 방법들을 크게 능가할 수 있었습니다. SimCLR로 학습된 자기지도 표현 위에 훈련된 선형 분류기는 76.5%의 top-1 정확도를 달성하여 이전 최고 수준 대비 상대적으로 7% 향상되었으며, 지도학습된 ResNet-50의 성능과 일치했습니다. 단 1%의 레이블로 미세 조정(fine-tuning)했을 때는 85.8%의 top-5 정확도를 달성하여 100배 적은 레이블로도 AlexNet을 능가했습니다.

영어 원문 초록

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

논문 해설

문제 및 동기

인간의 감독 없이 시각적 표현을 학습하는 것은 일반적으로 생성 모델링이나 휴리스틱한 프리텍스트(pretext) 태스크(예: 직소 퍼즐, 회전 예측, 채색)에 의존해 왔습니다. 대조 학습 기법들은 더 우수한 성능을 달성했으나, 네거티브 쌍을 공급하기 위해 특수 컨텍스트 집합 아키텍처(CPC의 PixelCNN 등), 제한적인 수용 영역(receptive field), 또는 명시적인 메모리 뱅크(MoCo, InstDisc 등)를 도입하는 경우가 많았습니다. SimCLR는 표준 인코더, 배치 내 네거티브 쌍, 체계적인 증강 설계를 사용하는 단순한 프레임워크가 아키텍처적 우회 없이도 이전 방식들을 능가할 수 있음을 보여줌으로써 이러한 복잡성을 해결합니다.

핵심 아이디어

증강 조합이 예측 태스크를 정의함: 공간적 컨텍스트 예측을 강제하기 위해 네트워크 구조를 변경하는 대신, 데이터 증강의 확률적 조합(특히 랜덤 크롭과 색상 왜곡의 결합)을 통해 색상 히스토그램 일치와 같은 지름길(shortcut)을 방지하고 네트워크가 의미론적(semantic) 특징을 추출하도록 강제합니다.
더 강력한 증강이 대조 학습에 유리함: 지도학습에서는 성능을 저하시키는 과감한 색상 왜곡(color jittering)과 같은 강력한 증강이 자기지도 대조 학습에서는 성능을 크게 향상시킵니다.
비선형 프로젝션 헤드: 인코더 표현 $h$ 와 대조 손실 사이에 작은 MLP $g (\cdot)$ 를 도입하면 표현 품질이 향상됩니다. $z = g (h)$ 는 변환에 불변하도록 학습되므로, 사전 학습 후 $g (\cdot)$ 를 제거하면 다운스트림 태스크에 유용한 변환 민감 정보가 $h$ 에 보존됩니다.
대규모 배치와 긴 학습을 통한 네거티브 스케일링: 명시적인 메모리 뱅크 대신 LARS로 최적화된 대규모 배치 크기(최대 8192)를 사용하여 포지티브 쌍 하나당 수천 개의 배치 내 네거티브 쌍을 제공합니다.
글로벌 배치 정규화(Global Batch Normalization): 네트워크가 포지티브 쌍을 식별하기 위해 디바이스 내부의 배치 정규화 통계량을 지름길로 악용하는 것을 방지하기 위해, 분산된 모든 가속기 전반에 걸쳐 배치 정규화의 평균과 분산을 동기화합니다.

방법론

추출된 $N$ 개의 이미지 미니배치에 대해 각 샘플 $x_{k}$ 는 두 가지 서로 다른 확률적 증강 $t, t^{'} \sim T$ 에 의해 변환되어, $2 N$ 개의 증강된 샘플 사이에서 포지티브 쌍 $(\tilde{x}_{i}, \tilde{x}_{j})$ 을 형성합니다.

기본 인코더(Base Encoder): $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ , 평균 풀링 계층에서 표현을 추출합니다.
프로젝션 헤드(Projection Head): $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ , 단일 은닉층과 ReLU 활성화 함수 $σ$ 를 사용하여 표현을 128차원 잠재 공간으로 매핑합니다.
NT-Xent 손실: 정규화된 벡터 간의 코사인 유사도는 $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ 로 정의됩니다. 포지티브 쌍 $(i, j)$ 에 대한 손실은 다음과 같습니다: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ 여기서 $τ$ 는 온도(temperature) 하이퍼파라미터이며, $\mathbbm 1_{[k \neq = i]}$ 는 $k \neq = i$ 일 때 $1$ 이 됩니다. 전체 손실 $L$ 은 배치 내의 모든 $2 N$ 개 쌍에 대해 평균을 취합니다.

학습 후 $g (\cdot)$ 는 제거되고, $h$ 가 다운스트림 선형 분류 또는 미세 조정에 사용됩니다.

결과

ImageNet 선형 평가: 표준 ResNet-50을 사용한 SimCLR는 69.3%의 top-1 정확도를 달성했습니다(이전 자기지도 모델들과 동등하거나 능가). ResNet-50 ( $4 \times$ )으로 확장하면 76.5%의 top-1 정확도를 기록하여 완전 지도학습된 표준 ResNet-50의 성능과 일치했습니다.
준지도 미세 조정: ImageNet 레이블의 1%만 사용하여 미세 조정한 경우, ResNet-50 ( $4 \times$ )은 85.8%의 top-5 정확도(및 63.0% top-1)를 기록하여 레이블을 100% 사용해 학습한 AlexNet을 능가했습니다.
전이 학습(Transfer Learning): 12개의 자연 이미지 분류 데이터셋에서 미세 조정된 SimCLR ResNet-50 ( $4 \times$ )은 12개 중 10개 데이터셋에서 지도학습 베이스라인과 동등하거나 더 나은 성능을 보였습니다.
프로젝션 헤드 어블레이션: 비선형 프로젝션 헤드를 사용하는 것이 선형 프로젝션에 비해 +3%, 프로젝션을 사용하지 않는 경우에 비해 ImageNet 선형 평가에서 10% 이상 우수한 성능을 보였습니다.

한계점 및 미해결 과제

연산 집약도: 최상의 결과를 달성하려면 매우 큰 미니배치 크기(예: 4096 또는 8192)와 긴 학습 일정(최대 1000 에포크)이 필요하므로 대규모 가속기 클러스터(32~128 TPU 코어)가 필수적입니다.
전이 학습 시 아키텍처 격차: ResNet-50 ( $4 \times$ )은 전이 벤치마크에서 지도학습 베이스라인을 일치시키거나 능가하지만, 표준 ResNet-50은 여전히 모든 선형 평가 태스크에서 지도학습 베이스라인에 뒤처집니다.
정보 트레이드오프: 프로젝션 헤드가 $z$ 에서 불변성을 강제하면서도 $h$ 에 변환 관련 정보를 보존하는 메커니즘은 해석적 프레임워크보다는 경험적 휴리스틱에 의존하고 있습니다.

핵심 용어

SimCLR: 데이터 증강, 기본 인코더, 비선형 프로젝션 헤드, 그리고 정규화된 온도 조절 크로스 엔트로피 손실을 사용하는 시각적 표현 대조 학습을 위한 단순한 프레임워크.
NT-Xent: 배치 내 네거티브 및 포지티브 쌍 전반에 온도 스케일링된 코사인 유사도를 적용하는 정규화된 온도 조절 크로스 엔트로피(Normalized Temperature-scaled Cross Entropy) 손실.
Projection Head: 사전 학습 중 기본 인코더 뒤에 적용되는 1개 은닉층을 가진 소형 다층 퍼셉트론(MLP)으로, 다운스트림 평가 전에는 폐기됨.
Global BN: 모델이 디바이스 내부 통계를 정보 지름길로 악용하는 것을 방지하기 위해 분산된 모든 디바이스 전반에 걸쳐 평균과 분산을 집계하는 배치 정규화(Global Batch Normalization).
Linear Evaluation Protocol: 표현의 품질을 측정하기 위해 고정된 특징 추출기 위에 선형 분류기를 학습시키는 자기지도학습의 표준 평가 방법.
LARS: 초대형 배치 크기로 확장할 때 학습을 안정화하기 위해 사용되는 계층별 적응형 학습률 스케일링(Layer-wise Adaptive Rate Scaling) 옵티마이저.

자주 묻는 질문

랜덤 크롭을 사용할 때 왜 색상 왜곡(color jittering)이 필요한가요?

동일한 이미지에서 잘라낸 랜덤 크롭들은 대개 매우 유사한 색상 히스토그램을 공유합니다. 색상 왜곡이 없으면 모델은 고차원적인 의미론적 특징을 학습하기보다는 단순히 색상 프로필 매칭만을 통해 포지티브 쌍을 식별하는 지름길을 쉽게 학습하게 됩니다.

왜 프로젝션 헤드 이전의 표현($h$)이 이후의 표현($z$)보다 우수한가요?

대조 손실은 출력 $z$ 가 적용된 데이터 증강에 완전히 불변하도록 학습시킵니다. 비선형 프로젝션 헤드 $g$ 가 이러한 변환 특정 정보(색상, 방향 등)의 손실을 흡수해 주므로, $h$ 에는 더 풍부하고 일반화 가능한 정보가 그대로 유지됩니다.

SimCLR는 어떻게 메모리 뱅크를 사용하지 않을 수 있나요?

SimCLR는 대규모 미니배치 크기(256부터 최대 8192까지)를 사용합니다. 배치 크기 $N$ 은 별도의 메모리 뱅크나 모멘텀 인코더 없이도 배치 내부에서 포지티브 쌍 하나당 $2 (N - 1)$ 개의 네거티브 샘플을 직접 제공합니다.

SimCLR에 글로벌 배치 정규화(Global BN)가 필요한 이유는 무엇인가요?

포지티브 쌍의 두 뷰는 일반적으로 동일한 가속기 디바이스에서 처리되기 때문에, 일반적인 로컬 배치 정규화를 사용하면 디바이스 내 통계량을 통해 샘플의 신원이 유출되는 정보 지름길이 발생합니다. 모든 워커 디바이스 전반에 걸쳐 BN 통계량을 집계함으로써 이러한 지름길을 제거합니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)