자연어 감독을 통한 전이 가능한 시각 모델 학습

논문 해설

문제 및 동기

최첨단 비전 모델은 전통적으로 ImageNet과 같은 크라우드 소싱 기반의 닫힌 집합(closed-set) 분류 벤치마크에 의존해 왔습니다. 이러한 고정 라벨 패러다임은 활용성을 제한합니다. 목표 어휘 외의 개념을 인식하려면 새로운 데이터를 수집하고 주석을 달아야 하기 때문입니다. 반면 자연어 처리는 웹 규모의 텍스트에서 직접 태스크에 구애받지 않는 사전학습(예: GPT-3) 방식으로 성공적으로 전환하여, 텍스트 대 텍스트 인터페이스를 통해 제로샷 일반화가 가능한 모델을 만들어 냈습니다. 저자들은 웹 규모 데이터에서 자연어 감독을 확장함으로써 특정 데이터셋에 대한 지도학습 미세조정 없이도 컴퓨터 비전 태스크 전반에 걸쳐 광범위하게 일반화되는 시각 표현을 얻을 수 있는지 탐구합니다.

핵심 아이디어

• 자연어 감독으로부터의 학습: 웹에서 스크랩한 (이미지, 텍스트) 쌍을 훈련 신호로 활용함으로써, 1-of-N 이산 클래스 라벨링을 우회하고 시각적 특징을 풍부한 자연어 의미론과 직접 연결합니다.
• 효율성을 위한 대조 학습(Contrastive Learning): 정확한 텍스트 토큰을 예측하는 것(생성형 캡셔닝)은 연산 낭비가 큽니다. 목표를 미니배치 내에서 올바른 (이미지, 텍스트) 쌍과 잘못된 쌍을 구별하는 대조 매칭 태스크로 공식화하면 BoW(bag-of-words) 예측보다 표본 효율성이 4배 더 높고 생성 모델링보다 훨씬 빠릅니다.
• 동적 선형 분류기로서의 제로샷 분류: 타깃 데이터셋 클래스는 텍스트 인코더를 통해 특징 벡터로 임베딩됩니다. 이 벡터들은 이미지 임베딩에 대한 제로샷 선형 분류기의 가중치 역할을 합니다.
• 프롬프트 엔지니어링 및 앙상블: 제로샷 성능은 프롬프트 구문 및 맥락에 민감합니다. 클래스 이름을 완전한 문장(예: "A photo of a {label}.")으로 감싸고 여러 프롬프트 변형에 걸쳐 앙상블을 수행하면 ImageNet에서 제로샷 전이 성능이 약 5%포인트 향상됩니다.

방법론 (핵심 수식 포함)

CLIP은 인터넷에서 스크랩한 4억 개의 (이미지, 텍스트) 쌍 데이터셋(WIT)에서 이미지 인코더 $f_{\text{image}}$와 텍스트 인코더 $f_{\text{text}}$를 결합 훈련하여 멀티모달 임베딩 공간을 구성합니다.

1. 특징 추출 및 프로젝션: $i\in \{1,\dots ,N\}$인 $N$개의 이미지-텍스트 쌍 $(I_i,T_i)$으로 구성된 미니배치가 주어지면, 각 인코더는 선형 프로젝션 $W_i$와 $W_t$를 통해 입력을 결합 차원 $d$로 매핑합니다: $$I_i^e=\frac{f_{\text{image}}(I_i)W_i}{\Vert f_{\text{image}}(I_i)W_i{\Vert }_2},T_j^e=\frac{f_{\text{text}}(T_j)W_t}{\Vert f_{\text{text}}(T_j)W_t{\Vert }_2}$$

2. 유사도 행렬: 로짓은 스케일링된 코사인 유사도를 통해 계산됩니다: $$S_{i,j}=\frac{⟨I_i^e,T_j^e⟩}{\tau }$$ 여기서 $\tau$는 0.07로 초기화되고 로짓 스케일링이 100을 넘지 않도록 클리핑되는 학습 가능한 온도 파라미터입니다.

3. 대칭적 교차 엔트로피 손실(Symmetric Cross-Entropy Loss): 전체 손실은 $N\times N$ 페어링 행렬에 대한 이미지-투-텍스트 및 텍스트-투-이미지 분류 손실의 평균입니다: $$\mathcal{L}=\frac{1}{2}\left(-\frac{1}{N}\sum _{i=1}^N\log \frac{\exp (S_{i,i})}{{\sum }_{j=1}^N\exp (S_{i,j})}-\frac{1}{N}\sum _{j=1}^N\log \frac{\exp (S_{j,j})}{{\sum }_{i=1}^N\exp (S_{i,j})}\right)$$

4. 제로샷 추론: $K$개 클래스가 있는 데이터셋의 경우, 텍스트 템플릿(예: "a photo of a {class_name}")이 $w_k=T_k^e$로 인코딩됩니다. 테스트 이미지 $x$에 대한 예측 확률은 다음과 같습니다: $$p(y=k\mid x)=\frac{\exp (⟨I_x^e,w_k⟩/\tau )}{{\sum }_{j=1}^K\exp (⟨I_x^e,w_j⟩/\tau )}$$

결과 (핵심 수치 포함)

• 제로샷 ImageNet: CLIP (ViT-L/14@336px)은 ImageNet에서 제로샷으로 76.2% top-1 정확도(및 95% top-5 정확도)를 기록하여, 128만 개의 훈련 이미지를 전혀 사용하지 않고도 기존 지도학습 ResNet-50의 성능과 일치했습니다.
• 제로샷 vs. 지도학습 베이스라인: 27개 다운스트림 데이터셋 평가에서, 제로샷 CLIP은 27개 중 16개 데이터셋에서 표준 ResNet-50 특징 기반의 완전 지도학습 선형 프로브(linear probe) 성능을 앞질렀습니다.
• 퓨샷 비교: 제로샷 CLIP은 완전히 동일한 CLIP 특징 표현 위에서 학습된 4-샷 선형 분류기의 평균 성능과 일치하며, 16-샷 BiT-M ResNet-152x2 모델에 필적합니다.
• 선형 프로브 표현 품질: 동결된 표현을 지도학습 선형 프로브로 평가했을 때, CLIP의 최고 성능 모델은 27개 중 21개 데이터셋에서 Noisy Student EfficientNet-L2를 능가했으며, OCR, 비디오 행동 인식(Kinetics-700: ResNet-50 대비 +14.5%), 지리적 위치 추정 등에서 뛰어난 성과를 보였습니다.
• 분포 변화에 대한 강건성: 7개의 자연 분포 변화 데이터셋(ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet 등) 전반에서, 제로샷 CLIP은 표준 ImageNet 학습 모델과 비교하여 분포 내(in-distribution)와 분포 외(out-of-distribution) 정확도 간의 격차를 최대 75%까지 줄였습니다.

한계점 및 열린 질문

• 추상적, 전문적, 체계적 태스크: 제로샷 CLIP은 객체 수 세기(CLEVRCounts), 세밀한 구분이 필요한 태스크(FGVCAircraft, Flowers102), 웹 텍스트에서 흔치 않은 도메인 특화 태스크(PatchCamelyon의 종양 탐지, KITTI의 거리 추정)에서 큰 어려움을 겪습니다.
• 진정한 분포 외(Out-of-Distribution) 데이터: MNIST 필기체 숫자에서 제로샷 CLIP은 88%의 정확도에 그쳐 원시 픽셀에 대한 로지스틱 회귀보다 낮은 성능을 보였습니다. 이는 CLIP이 분포 외 취약성을 완전히 해결하기보다는 우회하고 있음을 보여줍니다.
• 연산 요구량: 기존 스케일링 추세로는 순수 제로샷만으로 모든 벤치마크에서 전반적인 지도학습 최첨단(SOTA)에 도달하기 위해 연산량이 약 1,000배 증가해야 할 것으로 추정됩니다.
• 사회적 편향 및 비하: FairFace 벤치마크 분석 결과, 흑인과 청소년에게 편향된 비인간 및 범죄 관련 오분류를 포함하여 현저히 불평등한 오류 양상이 드러났으며, 이는 클래스 라벨 설계와 임계값 설정에 따라 크게 달라집니다.