Learning Transferable Visual Models From Natural Language Supervision

Alec Radford; Jong Wook Kim; Chris Hallacy; Aditya Ramesh; Gabriel Goh; Sandhini Agarwal; Girish Sastry; Amanda Askell; Pamela Mishkin; Jack Clark; Gretchen Krueger; Ilya Sutskever

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

เผยแพร่ 2021-02-26cs.CVcs.LG arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 ระบบคอมพิวเตอร์วิทัศน์ทั่วไปขึ้นอยู่กับชุดป้ายกำกับคงที่ที่กำหนดไว้ล่วงหน้า ซึ่งต้องใช้การติดฉลากที่มีต้นทุนสูงและไม่สามารถวางนัยทั่วไปไปยังแนวคิดภาพใหม่ๆ ได้
🔧 Contrastive Language-Image Pre-training (CLIP) ร่วมกันฝึกสอนตัวเข้ารหัสภาพและตัวเข้ารหัสข้อความเพื่อเพิ่ม cosine similarity สูงสุดสำหรับคู่ภาพ-คำบรรยายที่ตรงกันข้ามแบตช์ขนาดใหญ่โดยใช้ symmetric cross-entropy loss
📈 บรรลุความแม่นยำ top-1 ที่ 76.2% เทียบเท่ากับ ResNet-50 แบบ fully supervised บน ImageNet ในแบบ zero-shot โดยไม่ต้องใช้ตัวอย่างที่มีป้ายกำกับ 1.28M ตัวอย่างของ ImageNet เลย

บทคัดย่อ

ระบบคอมพิวเตอร์วิทัศน์ระดับ state-of-the-art ในปัจจุบันถูกฝึกฝนให้ทำนายชุดหมวดหมู่วัตถุที่กำหนดไว้ล่วงหน้าอย่างคงที่ รูปแบบการควบคุมที่จำกัดนี้ลดทอนความเป็นนัยทั่วไปและการนำไปใช้งานจริง เนื่องจากจำเป็นต้องใช้ข้อมูลที่มีป้ายกำกับเพิ่มเติมเพื่อระบุแนวคิดทางภาพอื่น ๆ การเรียนรู้โดยตรงจากข้อความดิบที่บรรยายรูปภาพจึงเป็นทางเลือกที่มีศักยภาพสูงซึ่งใช้ประโยชน์จากแหล่งข้อมูลการกำกับดูแลที่กว้างขวางกว่ามาก เราแสดงให้เห็นว่าง่ายๆ เพียงแค่ใช้งาน pre-training ในการทำนายว่าคำบรรยายใดคู่กับรูปภาพใด ก็เป็นวิธีที่มีประสิทธิภาพและปรับขยายได้ดีในการเรียนรู้การแทนค่าภาพระดับ SOTA ตั้งแต่เริ่มต้นบนชุดข้อมูลคู่ (ภาพ, ข้อความ) จำนวน 400 ล้านคู่ที่รวบรวมจากอินเทอร์เน็ต หลังการ pre-training ภาษาธรรมชาติจะถูกนำมาใช้เพื่ออ้างอิงถึงแนวคิดทางภาพที่เรียนรู้มา (หรืออธิบายแนวคิดใหม่) ทำให้สามารถส่งผ่านความรู้แบบ zero-shot ของโมเดลไปยังงานปลายน้ำได้ เราศึกษาประสิทธิภาพของแนวทางนี้โดยการทดสอบเปรียบเทียบมาตรฐานบนชุดข้อมูลคอมพิวเตอร์วิทัศน์ที่มีอยู่กว่า 30 ชุด ครอบคลุมงานต่างๆ เช่น OCR, การรู้จำการกระทำในวิดีโอ, การระบุพิกัดทางภูมิศาสตร์ และการจำแนกประเภทวัตถุแบบละเอียดหลากหลายประเภท โมเดลสามารถส่งผ่านความรู้ได้อย่างมีนัยสำคัญไปยังงานส่วนใหญ่ และมักจะแข่งขันกับ baseline แบบ fully supervised ได้โดยไม่จำเป็นต้องฝึกฝนเฉพาะเจาะจงกับชุดข้อมูลนั้นๆ ตัวอย่างเช่น เราสามารถทำความแม่นยำได้เทียบเท่ากับ ResNet-50 ดั้งเดิมบน ImageNet แบบ zero-shot โดยไม่จำเป็นต้องใช้ตัวอย่างการฝึกฝน 1.28 ล้านตัวอย่างที่โมเดลเดิมเคยใช้เลย เราเผยแพร่โค้ดและค่าน้ำหนักโมเดลที่ผ่านการ pre-train ไว้ที่ https://github.com/OpenAI/CLIP

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลคอมพิวเตอร์วิทัศน์ระดับ state-of-the-art โดยดั้งเดิมต้องพึ่งพาชุดข้อมูลทดสอบการจำแนกประเภทแบบ closed-set ที่ใช้คนติดป้ายกำกับ เช่น ImageNet กระบวนทัศน์แบบกำหนดป้ายกำกับตายตัวนี้จำกัดการนำไปใช้งานจริง เพราะการรู้จำแนวคิดใดๆ ที่อยู่นอกชุดคำศัพท์เป้าหมายจำเป็นต้องเก็บรวบรวมและติดฉลากข้อมูลใหม่ ในทางตรงกันข้าม การประมวลผลภาษาธรรมชาติได้เปลี่ยนผ่านไปสู่การ pre-training แบบไม่เจาะจงงานบนข้อความระดับเว็บสเกลได้สำเร็จ (เช่น GPT-3) ซึ่งสร้างโมเดลที่สามารถวางนัยทั่วไปแบบ zero-shot ผ่านอินเทอร์เฟซแบบ text-to-text ได้ คณะผู้เขียนจึงตรวจสอบว่าการขยายขนาดการกำกับดูแลด้วยภาษาธรรมชาติบนข้อมูลระดับเว็บสเกล จะสามารถสร้างการแทนค่าทางภาพที่วางนัยทั่วไปได้กว้างขวางในหลากหลายงานคอมพิวเตอร์วิทัศน์โดยไม่ต้องทำ supervised fine-tuning เฉพาะชุดข้อมูลได้หรือไม่

แนวคิดสำคัญ

การเรียนรู้จากการกำกับดูแลด้วยภาษาธรรมชาติ (Learning from Natural Language Supervision): การใช้คู่ (ภาพ, ข้อความ) ที่ดึงมาจากเว็บเป็นสัญญาณในการฝึกสอน ช่วยเชื่อมโยงคุณลักษณะทางภาพเข้ากับอรรถศาสตร์ของภาษาธรรมชาติที่สมบูรณ์ได้โดยตรง โดยข้ามข้อจำกัดของการติดฉลากคลาสแบบแยกส่วน 1-of-N
Contrastive Learning เพื่อประสิทธิภาพ: การทำนายโทเค็นข้อความอย่างแม่นยำ (generative captioning) สิ้นเปลืองการคำนวณอย่างมาก การกำหนดวัตถุประสงค์เป็นงานจับคู่เชิงเปรียบเทียบ (contrastive matching)—โดยแยกแยะคู่ (ภาพ, ข้อความ) ที่ถูกต้องออกจากคู่ที่ไม่ถูกต้องในมินิแบตช์—พิสูจน์แล้วว่ามีประสิทธิภาพด้านตัวอย่าง (sample-efficient) มากกว่าการทำนายแบบ bag-of-words ถึง 4 เท่า และเร็วกว่าโมเดลเชิงกำเนิดอย่างมาก
Zero-Shot Classification ในฐานะ Dynamic Linear Classifiers: คลาสของชุดข้อมูลเป้าหมายจะถูกฝังผ่านตัวเข้ารหัสข้อความเป็นเวกเตอร์คุณลักษณะ เวกเตอร์เหล่านี้จะทำหน้าที่เป็นค่าน้ำหนักสำหรับตัวจำแนกเชิงเส้นแบบ zero-shot เพื่อเปรียบเทียบกับเวกเตอร์การแทนค่าของภาพ
Prompt Engineering และ Ensembling: ประสิทธิภาพแบบ zero-shot มีความอ่อนไหวต่อวากยสัมพันธ์และบริบทของพรอมต์ การครอบชื่อคลาสด้วยประโยคเต็ม (เช่น "A photo of a {label}.") และการทำ ensemble ข้ามพรอมต์หลายรูปแบบช่วยปรับปรุงการส่งผ่านความรู้แบบ zero-shot บน ImageNet ได้ประมาณ 5 จุด

ระเบียบวิธี (พร้อมสมการสำคัญ)

CLIP สร้าง multi-modal embedding space โดยการฝึกสอนตัวเข้ารหัสภาพ $f_{image}$ และตัวเข้ารหัสข้อความ $f_{text}$ ร่วมกันบนชุดข้อมูลคู่ (ภาพ, ข้อความ) จำนวน 400 ล้านคู่ที่ดึงมาจากอินเทอร์เน็ต (WIT)

การสกัดคุณลักษณะและการโปรเจกต์ (Feature Extraction and Projection): เมื่อกำหนดมินิแบตช์ของคู่ภาพ-ข้อความ $N$ คู่ $(I_{i}, T_{i})$ สำหรับ $i \in {1, \dots, N}$ ตัวเข้ารหัสแต่ละตัวจะแมปอินพุตไปยังมิติร่วม $d$ ด้วยการแปลงเชิงเส้น $W_{i}$ และ $W_{t}$ : $I_{i}^{e} = \frac{f _{image} ( I _{i} ) W _{i}}{∥ f _{image} ( I _{i} ) W _{i} ∥ _{2}}, T_{j}^{e} = \frac{f _{text} ( T _{j} ) W _{t}}{∥ f _{text} ( T _{j} ) W _{t} ∥ _{2}}$
เมทริกซ์ความคล้ายคลึง (Similarity Matrix): Logits จะถูกคำนวณผ่าน scaled cosine similarity: $S_{i, j} = \frac{⟨ I _{i}^{e} , T _{j}^{e} ⟩}{τ}$ โดยที่ $τ$ คือพารามิเตอร์อุณหภูมิที่เรียนรู้ได้ เริ่มต้นที่ 0.07 และถูก clip ไว้เพื่อป้องกันไม่ให้ logits มีขนาดเกิน 100
Symmetric Cross-Entropy Loss: ค่า loss รวมคือค่าเฉลี่ยของ loss การจำแนกจากภาพเป็นข้อความและข้อความเป็นภาพบนเมทริกซ์การจับคู่ขนาด $N \times N$ : $L = \frac{1}{2} (- \frac{1}{N} i = 1 \sum N lo g \frac{exp ( S _{i, i} )}{\sum _{j = 1}^{N} exp ( S _{i, j} )} - \frac{1}{N} j = 1 \sum N lo g \frac{exp ( S _{j, j} )}{\sum _{i = 1}^{N} exp ( S _{i, j} )})$
การอนุมานแบบ Zero-Shot (Zero-Shot Inference): สำหรับชุดข้อมูลที่มี $K$ คลาส เทมเพลตข้อความ (เช่น "a photo of a {class_name}") จะถูกเข้ารหัสเป็น $w_{k} = T_{k}^{e}$ สำหรับภาพทดสอบ $x$ ความน่าจะเป็นที่ทำนายได้คือ: $p (y = k ∣ x) = \frac{exp (⟨ I _{x}^{e} , w _{k} ⟩ / τ )}{\sum _{j = 1}^{K} exp (⟨ I _{x}^{e} , w _{j} ⟩ / τ )}$

ผลลัพธ์ (พร้อมตัวเลขสำคัญ)

Zero-Shot ImageNet: CLIP (ViT-L/14@336px) บรรลุความแม่นยำ top-1 ที่ 76.2% (และความแม่นยำ top-5 ที่ 95%) แบบ zero-shot บน ImageNet ซึ่งเทียบเท่ากับ ResNet-50 แบบ supervised ดั้งเดิม โดยไม่ต้องใช้ภาพฝึกสอน 1.28 ล้านภาพของชุดข้อมูลดังกล่าว
Zero-Shot เทียบกับ Supervised Baseline: เมื่อประเมินบนชุดข้อมูลปลายน้ำ 27 ชุด CLIP แบบ zero-shot มีประสิทธิภาพเหนือกว่า linear probe แบบ fully supervised บนคุณลักษณะของ ResNet-50 มาตรฐานใน 16 จาก 27 ชุดข้อมูล
การเปรียบเทียบ Few-Shot: CLIP แบบ zero-shot มีประสิทธิภาพเทียบเท่ากับค่าเฉลี่ยของตัวจำแนกเชิงเส้นแบบ 4-shot ที่ฝึกบนคุณลักษณะของ CLIP เดียวกัน และเทียบเคียงกับโมเดล BiT-M ResNet-152x2 แบบ 16-shot
คุณภาพการแทนค่าด้วย Linear Probe: เมื่อประเมินการแทนค่าที่ถูก freeze ไว้ด้วย supervised linear probes โมเดลที่ดีที่สุดของ CLIP ชนะ Noisy Student EfficientNet-L2 ใน 21 จาก 27 ชุดข้อมูล โดยมีความโดดเด่นในงาน OCR, การรู้จำการกระทำในวิดีโอ (Kinetics-700: +14.5% เหนือ ResNet-50) และการระบุพิกัดทางภูมิศาสตร์
ความทนทานต่อการเลื่อนของการแจกแจง (Distribution Shift Robustness): บนชุดข้อมูลที่มี natural distribution shift จำนวน 7 ชุด (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet ฯลฯ) CLIP แบบ zero-shot ช่วยลดช่องว่างความแม่นยำที่ตกลงระหว่าง in-distribution และ out-of-distribution ได้สูงสุดถึง 75% เมื่อเทียบกับโมเดลที่ฝึกบน ImageNet แบบมาตรฐาน

ข้อจำกัดและคำถามปลายเปิด

งานเชิงนามธรรม เฉพาะทาง และเชิงระบบ: Zero-shot CLIP ประสบปัญหาอย่างมากกับงานนับจำนวน (CLEVRCounts), งานจำแนกประเภทแบบละเอียดที่มีความแตกต่างเพียงเล็กน้อย (FGVCAircraft, Flowers102) และงานเฉพาะโดเมนที่ไม่ค่อยพบในข้อความบนเว็บทั่วไป (การตรวจหาเนื้องอกบน PatchCamelyon; การประมาณระยะทางบน KITTI)
ข้อมูลที่เป็น Out-of-Distribution อย่างแท้จริง: บนตัวเลขลายมือเขียน MNIST ตัว CLIP แบบ zero-shot ทำความแม่นยำได้เพียง 88%—ซึ่งต่ำกว่าแบบจำลอง logistic regression บนพิกเซลดิบ—แสดงให้เห็นว่า CLIP เพียงแค่เลี่ยงปัญหามากกว่าที่จะแก้ความเปราะบางต่อข้อมูลนอกการแจกแจงได้อย่างแท้จริง
ทรัพยากรการคำนวณที่ต้องใช้: การจะไปถึงระดับ state-of-the-art แบบ supervised รวมในทุกเบঞ্চมาร์กด้วยวิธี zero-shot ล้วนๆ คาดว่าจะต้องใช้การคำนวณเพิ่มขึ้นถึง 1,000 เท่าตามแนวโน้มการขยายขนาดในปัจจุบัน
อคติทางสังคมและการลดทอนคุณค่า: การตรวจสอบด้วยเบนช์มาร์ก FairFace เผยให้เห็นรูปแบบความผิดพลาดที่ไม่เท่าเทียมกันอย่างมีนัยสำคัญ รวมถึงการจำแนกประเภทที่ผิดพลาดเป็นสิ่งที่ไม่ใช่มนุษย์และเกี่ยวข้องกับอาชญากรรม ซึ่งเบี่ยงเบนไปทางคนผิวดำและเยาวชน โดยสิ่งนี้แปรผันอย่างมากตามการออกแบบป้ายกำกับคลาสและการกำหนด threshold

คำศัพท์สำคัญ

CLIP: Contrastive Language-Image Pre-training; เฟรมเวิร์กที่ร่วมกันฝึกสอนตัวเข้ารหัสภาพและตัวเข้ารหัสข้อความโดยใช้วัตถุประสงค์เชิงเปรียบเทียบ (contrastive objective) บนข้อมูลคู่ภาพ-ข้อความจากเว็บ
WIT: WebImageText; ชุดข้อมูลที่ OpenAI คัดสรรขึ้นมาซึ่งประกอบด้วยคู่ (ภาพ, ข้อความ) จำนวน 400 ล้านคู่ที่รวบรวมจากแหล่งข้อมูลบนอินเทอร์เน็ตโดยใช้คำค้นหา 500,000 คำ
Zero-Shot Transfer: การประเมินโมเดลบนชุดข้อมูลและงานที่ไม่เคยเห็นมาก่อนโดยใช้คำอธิบายแนวคิดด้วยภาษาธรรมชาติ โดยไม่มีการอัปเดตพารามิเตอร์สำหรับงานเป้าหมายนั้น
Prompt Engineering: การจัดรูปแบบชื่อคลาสให้อยู่ในรูปของเทมเพลตบริบทภาษาธรรมชาติ (เช่น 'A photo of a {label}, a type of pet.') เพื่อลดช่องว่างการแจกแจงของข้อความที่ใช้ pre-training
Prompt Ensembling: การหาค่าเฉลี่ยของเวกเตอร์ embedding ของข้อความที่สร้างจากพรอมต์บริบทที่แตกต่างกันหลายชุดสำหรับคลาสเดียวกัน ก่อนที่จะนำไปคำนวณความคล้ายคลึงเพื่อจำแนกประเภท
Effective Robustness: การปรับปรุงความแม่นยำสำหรับข้อมูลนอกการแจกแจง (out-of-distribution) ที่เหนือกว่าสิ่งที่คาดหวังได้จากประสิทธิภาพของข้อมูลในการแจกแจง (in-distribution) ตามแนวโน้มการขยายขนาดของ baseline มาตรฐาน
Linear Probe: เลเยอร์การจำแนกประเภทเชิงเส้นที่มี regularization แบบ supervised ซึ่งถูกฝึกบนเวกเตอร์การแทนค่าคุณลักษณะที่ถูก freeze ไว้หลังการ pre-train เพื่อใช้วัดคุณภาพของการแทนค่านั้น
Attention Pooling: เลเยอร์ spatial pooling ที่ปรับแต่งสำหรับสถาปัตยกรรมหลักของ ResNet โดยประยุกต์ใช้เป็น single-layer multi-head QKV attention ที่ขึ้นกับคุณลักษณะที่ผ่าน global average pooling มาแล้ว

คำถามที่พบบ่อย

เหตุใด CLIP จึงเลือก contrastive learning แทนที่จะเป็นการสร้างคำบรรยายภาพ (image caption generation)?

โมเดลเชิงกำเนิดคำบรรยายพยายามทำนายโทเค็นข้อความที่ตรงกันทุกประการ ซึ่งต้องใช้การคำนวณมหาศาลเนื่องจากความแปรผันอย่างกว้างขวางของคำบรรยาย ส่วน contrastive learning แก้ไขงานตัวแทนที่ง่ายกว่าด้วยการจับคู่ข้อความเต็มเข้ากับรูปภาพ ซึ่งพิสูจน์แล้วว่าประหยัดการคำนวณมากกว่าการทำนายแบบ bag-of-words ถึง 4 เท่า และมีประสิทธิภาพมากกว่าโมเดลเชิงกำเนิดมากกว่าหนึ่งเท่าตัวของขนาด (order of magnitude)

การจำแนกประเภทแบบ zero-shot ทำงานอย่างไรในขั้นตอนการทดสอบของ CLIP?

ป้ายกำกับของแต่ละคลาสตัวเลือกจะถูกใส่ลงในเทมเพลตข้อความพรอมต์และถูกฝังเป็นเวกเตอร์ผ่านตัวเข้ารหัสข้อความ เวกเตอร์ embedding ที่ถูก normalized เหล่านี้จะทำหน้าที่เป็นเวกเตอร์ค่าน้ำหนักคงที่ของตัวจำแนกเชิงเส้นแบบไดนามิก ซึ่งจะนำไปประเมินกับเวกเตอร์ normalized ของภาพผ่าน cosine similarity และ softmax

เหตุใด zero-shot CLIP จึงมีความทนทานต่อการเลื่อนของการแจกแจง (distribution shifts) ได้ดีกว่าโมเดล ImageNet แบบ supervised?

โมเดล ImageNet แบบ supervised มักจะจดจำความสัมพันธ์ปลอม (spurious correlations) และสถิติพื้นผิวที่จำเพาะต่อการแจกแจงทางภาพของ ImageNet ขณะที่ zero-shot CLIP หลีกเลี่ยงการ fine-tuning บนการแจกแจงของการฝึกฝนเป้าหมาย จึงลดช่องว่างของประสิทธิภาพลงได้อย่างมากเมื่อนำไปประเมินบนชุดข้อมูลที่มีการเลื่อนของการแจกแจง เช่น ImageNet-A, ObjectNet และ ImageNet-R

การมีความทับซ้อนของชุดข้อมูลฝึกสอนเป็นสิ่งที่อธิบายผลการทดสอบ zero-shot ที่ยอดเยี่ยมของ CLIP หรือไม่?

ไม่ใช่ การวิเคราะห์การตัดข้อมูลที่ซ้ำซ้อน (de-duplication) พบว่ามีค่ามัธยฐานความทับซ้อนเพียง 2.2% จากชุดข้อมูลปลายน้ำ 35 ชุด และการนำตัวอย่างที่ทับซ้อนออกแทบจะไม่ส่งผลให้ความแม่นยำในการประเมินเปลี่ยนแปลงเกินกว่า 0.1% โดยมีการปรับปรุงสูงสุดที่ตรวจพบเพียง 0.6% บนชุดข้อมูล Birdsnap

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI