A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen; Simon Kornblith; Mohammad Norouzi; Geoffrey Hinton

งานวิจัย · arXiv 2002.05709

A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton

เผยแพร่ 2020-02-13cs.LGcs.CVstat.ML arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 วิธีการ contrastive self-supervised ก่อนหน้านี้ต้องพึ่งพาการออกแบบสถาปัตยกรรมที่ซับซ้อน, memory bank หรือเครือข่ายสำหรับรวบรวมบริบทแบบเฉพาะทาง
🔧 SimCLR เพิ่ม latent agreement ระหว่างมุมมองภาพที่ผ่านการทำ data augmentation ต่างกันให้สูงสุด โดยใช้ ResNet มาตรฐาน, nonlinear projection head, มินิแบตช์ขนาดใหญ่สำหรับคู่ลบ และ NT-Xent loss
📈 ตัวจำแนกประเภทเชิงเส้นบน SimCLR ResNet-50 (4×) บรรลุ top-1 accuracy บน ImageNet ที่ 76.5% และการ fine-tune ด้วยป้ายกำกับเพียง 1% ให้ผลลัพธ์ top-5 accuracy ถึง 85.8%

บทคัดย่อ

บทความนี้นำเสนอ SimCLR: เฟรมเวิร์กอย่างง่ายสำหรับการเรียนรู้การนำเสนอภาพด้วยวิธีเชิงเปรียบเทียบ (contrastive learning of visual representations) เราได้ลดความซับซ้อนของขั้นตอนวิธี self-supervised learning เชิงเปรียบเทียบที่เพิ่งถูกนำเสนอไปก่อนหน้านี้ โดยไม่จำเป็นต้องใช้สถาปัตยกรรมแบบพิเศษหรือ memory bank เพื่อทำความเข้าใจว่าสิ่งใดที่ทำให้งานการทำนายเชิงเปรียบเทียบสามารถเรียนรู้การนำเสนอที่เป็นประโยชน์ได้ เราจึงศึกษาส่วนประกอบหลักของเฟรมเวิร์กของเราอย่างเป็นระบบ เราแสดงให้เห็นว่า (1) การผสมผสานของ data augmentation มีบทบาทสำคัญอย่างยิ่งต่อการกำหนดงานการทำนายที่มีประสิทธิภาพ (2) การนำการแปลงแบบไม่เป็นเชิงเส้น (nonlinear transformation) ที่เรียนรู้ได้มาคั่นระหว่าง representation และ contrastive loss ช่วยปรับปรุงคุณภาพของการนำเสนอที่เรียนรู้ได้อย่างมาก และ (3) contrastive learning ได้รับประโยชน์จากขนาดของแบตช์ที่ใหญ่ขึ้นและจำนวนขั้นตอนการฝึกที่มากขึ้นเมื่อเทียบกับ supervised learning เมื่อรวมข้อค้นพบเหล่านี้เข้าด้วยกัน เราสามารถทำผลงานได้เหนือกว่าวิธีก่อนหน้าสำหรับ self-supervised และ semi-supervised learning บน ImageNet อย่างมาก ตัวจำแนกประเภทเชิงเส้น (linear classifier) ที่ฝึกบนการนำเสนอแบบ self-supervised ซึ่งเรียนรู้โดย SimCLR ทำ top-1 accuracy ได้ 76.5% ซึ่งเป็นการปรับปรุงสัมพัทธ์ขึ้น 7% เมื่อเทียบกับระดับ state-of-the-art ก่อนหน้า และเทียบเท่ากับประสิทธิภาพของ ResNet-50 ที่ฝึกแบบ supervised เมื่อทำการ fine-tune ด้วยป้ายกำกับเพียง 1% เราสามารถทำ top-5 accuracy ได้ 85.8% ซึ่งมีประสิทธิภาพเหนือกว่า AlexNet โดยใช้ป้ายกำกับน้อยกว่าถึง 100 เท่า

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

การเรียนรู้ visual representation โดยไม่มีการกำกับดูแลของมนุษย์มักอาศัย generative modeling หรือ pretext task แบบฮิวริสติก (เช่น ตัวต่อจิ๊กซอว์, การทำนายการหมุนภาพ, การระบายสีภาพ) วิธีการแบบ Contrastive learning ให้ประสิทธิภาพที่ดีกว่าแต่ก็มักต้องนำสถาปัตยกรรมรวบรวมบริบทแบบเฉพาะทางมาใช้ (เช่น PixelCNNs ใน CPC), การจำกัด receptive field หรือการใช้ memory bank อย่างชัดเจน (เช่น MoCo หรือ InstDisc) เพื่อจัดหาคู่ลบ (negative pairs) SimCLR ได้เข้ามาแก้ปัญหาความซับซ้อนเหล่านี้โดยแสดงให้เห็นว่า เฟรมเวิร์กที่เรียบง่ายซึ่งใช้ตัวเข้ารหัสมาตรฐาน, คู่ลบภายในแบตช์ (in-batch negatives) และการออกแบบกระบวนการ augmentation อย่างเป็นระบบ สามารถทำผลงานได้เหนือกว่าวิธีก่อนหน้าโดยไม่ต้องพึ่งพาวิธีแก้ขัดทางสถาปัตยกรรมใดๆ

แนวคิดสำคัญ

การผสมผสานของ Augmentation เป็นตัวกำหนดงานการทำนาย: แทนที่จะปรับเปลี่ยนสถาปัตยกรรมเครือข่ายเพื่อบังคับการทำนายบริบทเชิงพื้นที่ การผสมผสานของ data augmentation แบบสุ่ม โดยเฉพาะการสุ่มครอบตัดภาพ (random cropping) ร่วมกับการบิดเบือนของสี (color distortion) ช่วยป้องกันการโกงของโมเดล (เช่น การจับคู่ฮิสโตแกรมของสี) และบังคับให้เครือข่ายสกัดฟีเจอร์เชิงความหมาย (semantic features)
Augmentation ที่รุนแรงกว่าส่งผลดีต่อ Contrastive Learning: การแปลงข้อมูลอย่างเช่นการปรับเปลี่ยนสีแบบรุนแรง (aggressive color jittering) ซึ่งลดประสิทธิภาพการฝึกแบบ supervised กลับช่วยปรับปรุงการเรียนรู้แบบ self-supervised contrastive learning ได้อย่างมีนัยสำคัญ
Nonlinear Projection Head: การเพิ่ม MLP ขนาดเล็ก $g (\cdot)$ คั่นระหว่าง representation $h$ ของตัวเข้ารหัสและ contrastive loss ช่วยยกระดับคุณภาพของ representation เนื่องจาก $z = g (h)$ ถูกฝึกมาเพื่อให้ invariant ต่อการแปลงข้อมูล การตัด $g (\cdot)$ ทิ้งไปหลังการฝึกจึงทำให้คงข้อมูลที่ไวต่อการแปลง (transformation-sensitive information) เอาไว้ใน $h$ ซึ่งมีประโยชน์ต่องานปลายทาง (downstream tasks)
การขยายขนาดคู่ลบผ่านแบตช์ขนาดใหญ่และการฝึกที่ยาวนานขึ้น: แทนที่จะใช้ memory bank อย่างชัดเจน SimCLR พึ่งพาขนาดของแบตช์ที่ใหญ่มาก (สูงสุด 8192) และเพิ่มประสิทธิภาพด้วย LARS ซึ่งให้คู่ลบภายในแบตช์หลายพันคู่ต่อคู่บวกหนึ่งคู่
Global Batch Normalization: เพื่อป้องกันทางลัดที่เครือข่ายอาจใช้สถิติของ batch normalization ภายในอุปกรณ์เดียวกันในการระบุคู่บวก ค่าเฉลี่ยและความแปรปรวนของ batch normalization จึงถูกซิงโครไนซ์ข้ามอุปกรณ์เร่งความเร็วประมวลผล (accelerator) ทั้งหมดที่กระจายอยู่

วิธีการ

สำหรับมินิแบตช์ที่สุ่มตัวอย่างมาจำนวน $N$ ภาพ แต่ละตัวอย่าง $x_{k}$ จะถูกแปลงด้วยการทำ stochastic augmentation สองแบบที่แตกต่างกัน $t, t^{'} \sim T$ ส่งผลให้เกิดคู่บวก $(\tilde{x}_{i}, \tilde{x}_{j})$ ท่ามกลางตัวอย่างที่ผ่านการแปลงทั้งหมด $2 N$ ตัวอย่าง

Base Encoder: $h_{i} = f (\tilde{x}_{i}) = ResNet (\tilde{x}_{i})$ สกัด representation ออกมาจาก average pooling layer
Projection Head: $z_{i} = g (h_{i}) = W^{(2)} σ (W^{(1)} h_{i})$ ทำการแมป representation ไปยัง latent space ขนาด 128 มิติ โดยใช้ hidden layer ชั้นเดียวและ ReLU activation $σ$
NT-Xent Loss: ความคล้ายคลึงโคไซน์ (cosine similarity) ระหว่างเวกเตอร์ที่ปรับมาตรฐานแล้วนิยามโดย $sim (u, v) = u^{⊤} v / (∥ u ∥ ∥ v ∥)$ สำหรับคู่บวก $(i, j)$ ฟังก์ชันการสูญเสียคือ: $ℓ_{i, j} = - lo g \frac{exp ( sim ( z _{i} , z _{j} ) / τ )}{\sum _{k = 1}^{2 N} \mathbbm 1 _{[k \neq = i]} exp ( sim ( z _{i} , z _{k} ) / τ )}$ โดยที่ $τ$ คือไฮเปอร์พารามิเตอร์อุณหภูมิ (temperature) และ $\mathbbm 1_{[k \neq = i]}$ มีค่าเป็น $1$ ก็ต่อเมื่อ $k \neq = i$ ฟังก์ชันการสูญเสียรวม $L$ คิดเฉลี่ยจากคู่ทั้งหมด $2 N$ คู่ในแบตช์

หลังจากการฝึกสิ้นสุดลง $g (\cdot)$ จะถูกตัดทิ้ง และนำ $h$ ไปใช้สำหรับการจำแนกประเภทเชิงเส้นหรืองาน fine-tuning ในลำดับถัดไป

ผลลัพธ์

Linear Evaluation บน ImageNet: SimCLR ที่ใช้ ResNet-50 มาตรฐานทำ top-1 accuracy ได้ 69.3% (เทียบเท่าหรือเหนือกว่าโมเดล self-supervised ก่อนหน้า) เมื่อขยายขนาดเป็น ResNet-50 ( $4 \times$ ) สามารถทำ top-1 accuracy ได้ 76.5% ซึ่งเทียบเท่ากับ ResNet-50 มาตรฐานที่ฝึกแบบ fully supervised
Semi-supervised Fine-tuning: เมื่อ fine-tune ด้วยป้ายกำกับของ ImageNet เพียง 1% โมเดล ResNet-50 ( $4 \times$ ) ทำ top-5 accuracy ได้ 85.8% (และ 63.0% top-1) ซึ่งดีกว่า AlexNet ที่ฝึกด้วยป้ายกำกับ 100%
Transfer Learning: จากชุดข้อมูลจำแนกภาพธรรมชาติ 12 ชุด SimCLR ResNet-50 ( $4 \times$ ) ที่ผ่านการ fine-tune ให้ผลลัพธ์เทียบเท่าหรือเหนือกว่า baseline แบบ supervised ถึง 10 จาก 12 ชุดข้อมูล
Ablation บน Projection Head: การใช้ nonlinear projection head ให้ผลลัพธ์ดีกว่า linear projection อยู่ +3% และดีกว่าการไม่ใช้ projection head เลยมากกว่า 10% ในการประเมินแบบเชิงเส้นบน ImageNet

ข้อจำกัดและคำถามปลายเปิด

การใช้พลังการคำนวณสูง: การฝึกจำเป็นต้องใช้ขนาดมินิแบตช์ที่ใหญ่มาก (เช่น 4096 หรือ 8192) และระยะเวลาการฝึกที่ยาวนาน (มากถึง 1000 epochs) เพื่อให้ได้ผลลัพธ์ระดับสูงสุด ซึ่งต้องใช้คลัสเตอร์ของอุปกรณ์เร่งความเร็วขนาดใหญ่ (TPU cores จำนวน 32–128 คอร์)
ความเหลื่อมล้ำของสถาปัตยกรรมในการ Transfer: แม้ว่า ResNet-50 ( $4 \times$ ) จะเทียบเท่าหรือเหนือกว่า supervised baseline ในชุดทดสอบการ transfer แต่ ResNet-50 มาตรฐานยังคงตามหลัง baseline แบบ supervised ในงาน linear evaluation ทุกงาน
การแลกเปลี่ยนของข้อมูล (Information Trade-off): กลไกที่ทำให้ projection head สามารถเก็บรักษาข้อมูลเฉพาะของการแปลงไว้ใน $h$ ในขณะที่บังคับให้เกิดความคงที่ (invariance) ใน $z$ ยังคงอาศัยการทดลองเชิงประจักษ์มากกว่ากรอบการวิเคราะห์เชิงทฤษฎี

คำศัพท์สำคัญ

SimCLR: เฟรมเวิร์กอย่างง่ายสำหรับการเรียนรู้ visual representation เชิงเปรียบเทียบ โดยใช้ data augmentation, base encoder, nonlinear projection head และ normalized temperature-scaled cross-entropy loss
NT-Xent: Normalized Temperature-scaled Cross Entropy loss ซึ่งใช้ความคล้ายคลึงโคไซน์แบบปรับสเกลด้วยอุณหภูมิกับคู่ลบและคู่บวกภายในแบตช์เดียวกัน
Projection Head: Multi-layer perceptron ขนาดเล็กที่มี hidden layer ชั้นเดียว นำมาต่อท้าย base encoder ในระหว่างการฝึกขั้นต้น (pretraining) และจะถูกตัดทิ้งก่อนนำไปประเมินผลในงานปลายทาง
Global BN: Batch normalization ที่รวบรวมค่าเฉลี่ยและความแปรปรวนจากทุกอุปกรณ์ประมวลผลแบบกระจาย เพื่อป้องกันไม่ให้โมเดลใช้สถิติภายในอุปกรณ์เดียวกันเป็นทางลัดในการดึงข้อมูล
Linear Evaluation Protocol: เกณฑ์การประเมินมาตรฐานใน self-supervised learning โดยการฝึกตัวจำแนกประเภทเชิงเส้นทับบนตัวสกัดฟีเจอร์ที่ถูกแช่แข็งไว้ (frozen) เพื่อวัดคุณภาพของ representation
LARS: Layer-wise Adaptive Rate Scaling ออปติไมเซอร์ที่ใช้เพื่อรักษาเสถียรภาพในการฝึกเมื่อต้องขยายขนาดแบตช์ให้ใหญ่มาก

คำถามที่พบบ่อย

เหตุใด color jittering จึงจำเป็นเมื่อมีการใช้ random cropping?

ภาพที่ถูกครอบตัดแบบสุ่มจากภาพเดียวกันมักจะมีฮิสโตแกรมของสีที่คล้ายคลึงกันมาก หากไม่มีการบิดเบือนของสี โมเดลจะเรียนรู้การระบุคู่บวกผ่านการจับคู่โปรไฟล์สีได้อย่างง่ายดาย แทนที่จะเรียนรู้ฟีเจอร์เชิงความหมายในระดับสูง

ทำไม representation ก่อนผ่าน projection head ($h$) ถึงดีกว่าหลังผ่าน ($z$)?

Contrastive loss บังคับให้เอาต์พุต $z$ มีความคงที่อย่างสมบูรณ์ต่อ data augmentation ที่นำมาใช้ ดังนั้น nonlinear projection head $g$ จึงช่วยดูดซับการสูญเสียรายละเอียดเฉพาะของการแปลง (เช่น สีและการวางแนวภาพ) ทำให้คงเหลือข้อมูลที่สมบูรณ์และนำไปประยุกต์ใช้ได้ทั่วไปมากกว่าไว้ใน $h$

SimCLR หลีกเลี่ยงการใช้ memory bank ได้อย่างไร?

SimCLR ใช้ขนาดมินิแบตช์ที่ใหญ่มาก (ตั้งแต่ 256 ถึง 8192) โดยขนาดแบตช์ $N$ จะให้ตัวอย่างคู่ลบจำนวน $2 (N - 1)$ ตัวอย่างต่อคู่บวกโดยตรงจากภายในแบตช์ จึงตัดความจำเป็นในการใช้ memory bank หรือ momentum encoder แยกต่างหาก

ทำไม SimCLR ถึงต้องใช้ Global Batch Normalization?

เนื่องจากภาพสองมุมมองของคู่บวกมักจะถูกประมวลผลบนอุปกรณ์เร่งความเร็วตัวเดียวกัน การทำ Batch Normalization แบบเฉพาะที่ตามปกติจะสร้างทางลัดของข้อมูลขึ้น โดยสถิติภายในอุปกรณ์จะทำให้ข้อมูลตัวตนของตัวอย่างรั่วไหลออกไป การรวมสถิติ BN ข้ามทุกอุปกรณ์ประมวลผลจึงช่วยกำจัดทางลัดนี้ได้

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI