Learning Transferable Visual Models From Natural Language Supervision

Alec Radford; Jong Wook Kim; Chris Hallacy; Aditya Ramesh; Gabriel Goh; Sandhini Agarwal; Girish Sastry; Amanda Askell; Pamela Mishkin; Jack Clark; Gretchen Krueger; Ilya Sutskever

Bài báo · arXiv 2103.00020

Học các mô hình thị giác có khả năng chuyển giao từ sự giám sát của ngôn ngữ tự nhiên

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

Xuất bản 2021-02-26cs.CVcs.LG arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Các hệ thống thị giác máy tính tiêu chuẩn phụ thuộc vào các tập nhãn cố định được xác định trước, đòi hỏi chú thích tốn kém và không thể tổng quát hóa cho các khái niệm thị giác mới.
🔧 Contrastive Language-Image Pre-training (CLIP) huấn luyện đồng thời một bộ mã hóa hình ảnh và một bộ mã hóa văn bản để tối đa hóa độ tương đồng cosine cho các cặp ảnh-chú thích khớp nhau trên các batch lớn bằng hàm mất mát cross-entropy đối xứng.
📈 Đạt độ chính xác top-1 76,2% tương đương với ResNet-50 có giám sát hoàn toàn trên ImageNet zero-shot mà không sử dụng bất kỳ mẫu nào trong 1,28 triệu ví dụ có nhãn của ImageNet.

Tóm tắt

Các hệ thống thị giác máy tính tiên tiến nhất hiện nay được huấn luyện để dự đoán một tập hợp cố định gồm các danh mục đối tượng được xác định trước. Hình thức giám sát bị giới hạn này hạn chế tính tổng quát cũng như khả năng sử dụng của chúng, vì cần phải có thêm dữ liệu được gán nhãn để xác định bất kỳ khái niệm thị giác nào khác. Học trực tiếp từ văn bản thô mô tả hình ảnh là một giải pháp thay thế đầy hứa hẹn, tận dụng nguồn giám sát rộng lớn hơn nhiều. Chúng tôi chứng minh rằng tác vụ tiền huấn luyện đơn giản là dự đoán chú thích nào đi kèm với hình ảnh nào là một phương pháp hiệu quả và có khả năng mở rộng để học các biểu diễn hình ảnh SOTA từ đầu trên tập dữ liệu gồm 400 triệu cặp (hình ảnh, văn bản) được thu thập từ internet. Sau khi tiền huấn luyện, ngôn ngữ tự nhiên được sử dụng để tham chiếu đến các khái niệm thị giác đã học (hoặc mô tả các khái niệm mới), cho phép chuyển giao zero-shot của mô hình sang các tác vụ hạ nguồn. Chúng tôi nghiên cứu hiệu năng của phương pháp tiếp cận này bằng cách đánh giá trên hơn 30 tập dữ liệu thị giác máy tính hiện có khác nhau, trải rộng trên các tác vụ như OCR, nhận dạng hành động trong video, định vị địa lý và nhiều loại phân loại đối tượng chi tiết. Mô hình chuyển giao tốt đến hầu hết các tác vụ và thường có tính cạnh tranh cao với mô hình cơ sở được giám sát hoàn toàn mà không cần bất kỳ quá trình huấn luyện chuyên biệt nào trên tập dữ liệu. Ví dụ: chúng tôi đạt độ chính xác tương đương với ResNet-50 gốc trên ImageNet ở thiết lập zero-shot mà không cần sử dụng bất kỳ mẫu nào trong số 1,28 triệu mẫu huấn luyện của nó. Chúng tôi công bố mã nguồn và trọng số mô hình đã được tiền huấn luyện tại https://github.com/OpenAI/CLIP.

Tóm tắt gốc (tiếng Anh)

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình thị giác tiên tiến nhất theo truyền thống dựa vào các benchmark phân loại tập đóng, được gán nhãn thủ công như ImageNet. Mô hình nhãn cố định này hạn chế khả năng sử dụng của chúng: để nhận dạng bất kỳ khái niệm nào nằm ngoài từ vựng mục tiêu đều đòi hỏi phải thu thập và gán nhãn dữ liệu mới. Ngược lại, xử lý ngôn ngữ tự nhiên đã chuyển dịch thành công sang hướng tiền huấn luyện phi tác vụ trực tiếp trên văn bản quy mô web (ví dụ: GPT-3), tạo ra các mô hình có khả năng tổng quát hóa zero-shot thông qua giao diện văn bản-sang-văn bản. Các tác giả nghiên cứu xem liệu việc mở rộng quy mô giám sát bằng ngôn ngữ tự nhiên trên dữ liệu quy mô web có thể mang lại các biểu diễn thị giác có khả năng tổng quát hóa rộng rãi trên các tác vụ thị giác máy tính mà không cần tinh chỉnh có giám sát cho từng tập dữ liệu cụ thể hay không.

Các ý tưởng cốt lõi

Học từ sự giám sát của ngôn ngữ tự nhiên: Sử dụng các cặp (hình ảnh, văn bản) thu thập từ web làm tín hiệu huấn luyện giúp kết nối trực tiếp các đặc trưng thị giác với ngữ nghĩa phong phú của ngôn ngữ tự nhiên, bỏ qua phương pháp gán nhãn lớp rời rạc 1-trong-N.
Học đối chiếu để tăng hiệu quả: Dự đoán chính xác từng token văn bản (sinh chú thích) gây lãng phí tính toán. Việc xây dựng mục tiêu thành tác vụ khớp nối đối chiếu—phân biệt các cặp (hình ảnh, văn bản) đúng với các cặp sai trong một minibatch—cho thấy hiệu quả mẫu cao hơn gấp 4 lần so với dự đoán bag-of-words và nhanh hơn nhiều so với mô hình sinh.
Phân loại zero-shot dưới dạng các bộ phân loại tuyến tính động: Các lớp của tập dữ liệu mục tiêu được nhúng qua bộ mã hóa văn bản thành các vector đặc trưng. Các vector này đóng vai trò là trọng số cho một bộ phân loại tuyến tính zero-shot đối chiếu với các vector nhúng hình ảnh.
Kỹ nghệ prompt và kết hợp prompt (prompt ensembling): Hiệu năng zero-shot rất nhạy cảm với cú pháp và ngữ cảnh của prompt. Việc lồng ghép tên lớp vào các câu hoàn chỉnh (ví dụ: "A photo of a {label}.") và kết hợp nhiều biến thể prompt giúp cải thiện khả năng chuyển giao zero-shot khoảng 5 điểm phần trăm trên ImageNet.

Phương pháp (với các phương trình chính)

CLIP xây dựng một không gian nhúng đa phương thức bằng cách huấn luyện đồng thời một bộ mã hóa hình ảnh $f_{image}$ và một bộ mã hóa văn bản $f_{text}$ trên tập dữ liệu gồm 400 triệu cặp (hình ảnh, văn bản) thu thập từ internet (WIT).

Trích xuất đặc trưng và phép chiếu: Cho một minibatch gồm $N$ cặp hình ảnh-văn bản $(I_{i}, T_{i})$ với $i \in {1, \dots, N}$ , mỗi bộ mã hóa ánh xạ đầu vào vào một không gian chung có chiều $d$ với các phép chiếu tuyến tính $W_{i}$ và $W_{t}$ : $I_{i}^{e} = \frac{f _{image} ( I _{i} ) W _{i}}{∥ f _{image} ( I _{i} ) W _{i} ∥ _{2}}, T_{j}^{e} = \frac{f _{text} ( T _{j} ) W _{t}}{∥ f _{text} ( T _{j} ) W _{t} ∥ _{2}}$
Ma trận tương đồng: Các logit được tính toán thông qua độ tương đồng cosine có điều chỉnh tỷ lệ: $S_{i, j} = \frac{⟨ I _{i}^{e} , T _{j}^{e} ⟩}{τ}$ trong đó $τ$ là tham số nhiệt độ có thể học được, khởi tạo ở mức 0,07, được cắt tỉa (clipped) để ngăn chặn việc điều chỉnh logit vượt quá 100.
Hàm mất mát Cross-Entropy đối xứng: Tổng mất mát là trung bình cộng của mất mát phân loại ảnh-sang-văn-bản và văn-bản-sang-ảnh trên ma trận ghép cặp kích thước $N \times N$ : $L = \frac{1}{2} (- \frac{1}{N} i = 1 \sum N lo g \frac{exp ( S _{i, i} )}{\sum _{j = 1}^{N} exp ( S _{i, j} )} - \frac{1}{N} j = 1 \sum N lo g \frac{exp ( S _{j, j} )}{\sum _{i = 1}^{N} exp ( S _{i, j} )})$
Suy luận Zero-Shot: Đối với tập dữ liệu có $K$ lớp, các mẫu văn bản (ví dụ: "a photo of a {class_name}") được mã hóa thành $w_{k} = T_{k}^{e}$ . Đối với hình ảnh kiểm thử $x$ , xác suất dự đoán là: $p (y = k ∣ x) = \frac{exp (⟨ I _{x}^{e} , w _{k} ⟩ / τ )}{\sum _{j = 1}^{K} exp (⟨ I _{x}^{e} , w _{j} ⟩ / τ )}$

Kết quả (với các số liệu quan trọng nhất)

ImageNet Zero-Shot: CLIP (ViT-L/14@336px) đạt độ chính xác top-1 76,2% (và độ chính xác top-5 95%) ở chế độ zero-shot trên ImageNet, ngang ngửa với ResNet-50 có giám sát ban đầu mà không cần sử dụng 1,28 triệu hình ảnh huấn luyện của tập này.
Zero-Shot so với baseline có giám sát: Khi đánh giá trên 27 tập dữ liệu hạ nguồn, CLIP zero-shot vượt trội hơn phương pháp dò tuyến tính (linear probe) có giám sát hoàn toàn trên các đặc trưng ResNet-50 tiêu chuẩn ở 16 trên 27 tập dữ liệu.
So sánh Few-Shot: CLIP zero-shot đạt hiệu năng tương đương mức trung bình của bộ phân loại tuyến tính 4-shot được huấn luyện trên chính các biểu diễn đặc trưng CLIP đó, và cạnh tranh sòng phẳng với mô hình BiT-M ResNet-152x2 16-shot.
Chất lượng biểu diễn qua Linear Probe: Khi đánh giá các biểu diễn đóng băng (frozen representations) bằng linear probe có giám sát, mô hình tốt nhất của CLIP vượt trội hơn Noisy Student EfficientNet-L2 trên 21/27 tập dữ liệu, xuất sắc trong các tác vụ OCR, nhận dạng hành động trong video (Kinetics-700: +14,5% so với ResNet-50) và định vị địa lý.
Độ bền vững trước sự dịch chuyển phân phối (Distribution Shift): Trên 7 tập dữ liệu dịch chuyển phân phối tự nhiên (ImageNetV2, ImageNet-R, ImageNet-A, ObjectNet, v.v.), CLIP zero-shot giảm mức sụt giảm độ chính xác giữa trong phân phối (in-distribution) và ngoài phân phối (out-of-distribution) lên tới 75% so với các mô hình tiêu chuẩn được huấn luyện trên ImageNet.

Hạn chế và các câu hỏi mở

Các tác vụ trừu tượng, chuyên biệt và mang tính hệ thống: CLIP zero-shot gặp nhiều khó khăn với tác vụ đếm (CLEVRCounts), các tác vụ phân loại chi tiết với ranh giới phân biệt hẹp (FGVCAircraft, Flowers102) và các tác vụ theo miền chuyên biệt hiếm gặp trong văn bản web (phát hiện khối u trên PatchCamelyon; ước lượng khoảng cách trên KITTI).
Dữ liệu thực sự nằm ngoài phân phối: Trên tập chữ số viết tay MNIST, CLIP zero-shot chỉ đạt độ chính xác 88%—kém hơn cả hồi quy logistic trên các pixel thô—cho thấy CLIP chỉ đang né tránh chứ chưa giải quyết triệt để sự thiếu bền vững trước dữ liệu ngoài phân phối.
Yêu cầu tài nguyên tính toán: Để đạt mức SOTA có giám sát toàn diện trên tất cả các benchmark chỉ bằng zero-shot, ước tính cần tăng năng lực tính toán lên khoảng 1000 lần theo xu hướng mở rộng hiện tại.
Định kiến xã hội và sự phỉ báng: Thử nghiệm thăm dò với benchmark FairFace cho thấy các lỗi phân loại bất bình đẳng đáng kể, bao gồm việc gán nhầm sang phi nhân tính hoặc liên quan đến tội phạm có xu hướng lệch về phía người da đen và người trẻ tuổi; các sai lệch này biến động mạnh tùy thuộc vào thiết kế nhãn lớp và ngưỡng quyết định.

Thuật ngữ chính

CLIP: Contrastive Language-Image Pre-training; một khung làm việc huấn luyện đồng thời bộ mã hóa hình ảnh và bộ mã hóa văn bản bằng hàm mục tiêu đối chiếu trên dữ liệu cặp thu thập từ web.
WIT: WebImageText; tập dữ liệu do OpenAI tuyển chọn gồm 400 triệu cặp (hình ảnh, văn bản) được thu thập từ internet bằng 500.000 cụm từ truy vấn.
Zero-Shot Transfer (Chuyển giao Zero-Shot): Đánh giá mô hình trên các tập dữ liệu và tác vụ chưa từng thấy bằng cách sử dụng các mô tả khái niệm bằng ngôn ngữ tự nhiên mà không cần cập nhật tham số trên tác vụ đích.
Prompt Engineering (Kỹ nghệ Prompt): Định dạng các tên lớp thành các mẫu ngữ cảnh ngôn ngữ tự nhiên (ví dụ: 'A photo of a {label}, a type of pet.') để thu hẹp khoảng cách phân phối văn bản thời tiền huấn luyện.
Prompt Ensembling (Kết hợp Prompt): Lấy trung bình các vector nhúng văn bản được tạo ra từ nhiều prompt ngữ cảnh khác nhau cho cùng một lớp trước khi tính toán độ tương đồng phân loại.
Effective Robustness (Độ bền vững hiệu dụng): Sự cải thiện về độ chính xác ngoài phân phối vượt ra ngoài mức kỳ vọng dựa trên hiệu năng trong phân phối theo xu hướng mở rộng của các baseline tiêu chuẩn.
Linear Probe (Dò tuyến tính): Một lớp phân loại tuyến tính có chuẩn hóa, được huấn luyện có giám sát trên các biểu diễn đặc trưng đã đóng băng của mô hình tiền huấn luyện nhằm đo lường chất lượng biểu diễn.
Attention Pooling: Một lớp gộp không gian được sửa đổi cho các mạng xương sống ResNet, được triển khai dưới dạng cơ chế multi-head QKV attention một lớp có điều kiện dựa trên các đặc trưng được gộp trung bình toàn cục.

Câu hỏi thường gặp

Tại sao CLIP lại chọn học đối chiếu thay vì sinh chú thích hình ảnh?

Các mô hình sinh chú thích cố gắng dự đoán chính xác từng token văn bản, đòi hỏi lượng tính toán khổng lồ do sự biến thiên ngữ nghĩa rất lớn của các chú thích. Học đối chiếu giải quyết tác vụ đại diện đơn giản hơn là khớp nối toàn bộ đoạn văn bản với hình ảnh, cho thấy hiệu quả tính toán gấp 4 lần so với dự đoán bag-of-words và cao hơn một bậc độ lớn so với các mô hình sinh.

Phân loại zero-shot hoạt động như thế nào trong thời gian suy luận của CLIP?

Mỗi nhãn lớp ứng viên được đặt vào một mẫu prompt văn bản và được nhúng qua bộ mã hóa văn bản. Các vector nhúng đã chuẩn hóa này đóng vai trò là các vector trọng số cố định của một bộ phân loại tuyến tính động, được tính toán với các vector nhúng hình ảnh đã chuẩn hóa thông qua độ tương đồng cosine và softmax.

Tại sao CLIP zero-shot bền vững hơn trước sự dịch chuyển phân phối so với các mô hình ImageNet có giám sát?

Các mô hình ImageNet có giám sát thường ghi nhớ các tương quan giả và số liệu thống kê bề mặt đặc trưng riêng của phân phối thị giác ImageNet. CLIP zero-shot tránh việc tinh chỉnh trên phân phối huấn luyện mục tiêu, nhờ đó thu hẹp đáng kể khoảng cách hiệu năng khi đánh giá trên các tập dữ liệu có sự dịch chuyển phân phối như ImageNet-A, ObjectNet và ImageNet-R.

Sự trùng lặp tập huấn luyện có phải là lý do giúp CLIP đạt kết quả benchmark zero-shot cao không?

Không. Phân tích loại bỏ trùng lặp dữ liệu cho thấy mức độ trùng lặp trung vị chỉ là 2,2% trên 35 tập dữ liệu hạ nguồn. Việc loại bỏ các mẫu trùng lặp này hiếm khi làm thay đổi độ chính xác đánh giá quá 0,1%, với mức cải thiện tối đa được phát hiện chỉ là 0,6% trên tập Birdsnap.

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI