An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Alexey Dosovitskiy; Lucas Beyer; Alexander Kolesnikov; Dirk Weissenborn; Xiaohua Zhai; Thomas Unterthiner; Mostafa Dehghani; Matthias Minderer; Georg Heigold; Sylvain Gelly; Jakob Uszkoreit; Neil Houlsby

الأوراق البحثية · arXiv 2010.11929

الصورة تساوي 16×16 كلمة: محولات للتعرف على الصور على نطاق واسع

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby

تاريخ النشر 2020-10-22cs.CVcs.AIcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 هيمنت الشبكات العصبية الالتفافية على الرؤية الحاسوبية بفضل التحيزات الاستقرائية القوية، بينما افتقرت نماذج Transformer القياسية إلى التطبيق المباشر والقابل للتوسع على الصور ثنائية الأبعاد.
🔧 تقسيم الصورة إلى رقع مسطحة ذات حجم ثابت (مثل 16x16)، وإسقاطها خطياً إلى تضمينات رموز، وإضافة تضمينات الموضع، وتمريرها عبر مشفر Transformer قياسي مع إضافة رمز [class] في المقدمة.
📈 عند التدريب المسبق على JFT-300M، يحقق ViT-H/14 دقة top-1 تبلغ 88.55% على ImageNet، و90.72% على ImageNet ReaL، و77.63% على VTAB، باستخدام قدر أقل بكثير من الحوسبة للتدريب المسبق مقارنة بشبكات CNN المماثلة.

الملخص

في حين أصبحت بنية المحول (Transformer) المعيار الفعلي لمهام معالجة اللغات الطبيعية، إلا أن تطبيقاتها في الرؤية الحاسوبية لا تزال محدودة. في مجال الرؤية، يُستخدم الانتباه إما بالاقتران مع الشبكات الالتفافية، أو لاستبدال مكونات معينة من الشبكات الالتفافية مع الحفاظ على هيكلها العام كما هو. نوضح أن هذا الاعتماد على شبكات CNN ليس ضرورياً، وأن محولاً خالصاً يُطبق مباشرة على متتاليات من رقع الصور يمكن أن يحقق أداءً ممتازاً في مهام تصنيف الصور. عند تدريبه مسبقاً على كميات هائلة من البيانات ونقله إلى معايير متعددة متوسطة أو صغيرة للتعرف على الصور (مثل ImageNet وCIFAR-100 وVTAB وغيرها)، يحقق Vision Transformer (ViT) نتائج ممتازة مقارنة بأحدث الشبكات الالتفافية، مع استهلاك موارد حوسبية أقل بكثير أثناء التدريب.

الملخص الأصلي (بالإنجليزية)

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train.

دليل القراءة

المشكلة والدافع

لطالما كانت البنى الالتفافية (مثل ResNet) الأساس للرؤية الحاسوبية الحديثة نظراً للتحيزات الاستقرائية المضمنة مثل التكافؤ الانتقالي والموضعية ثنائية الأبعاد. وبينما أصبحت نماذج Transformers هي المعيار في معالجة اللغات الطبيعية (NLP) بفضل الكفاءة الحسابية والقدرة الهائلة على التوسع، فإن المحاولات السابقة لإدخال الانتباه الذاتي إلى الرؤية كانت تقترن عادةً بهياكل CNN الأساسية أو تستخدم أنماط انتباه موضعية/محورية مخصصة يصعب توسيع نطاقها بكفاءة على المسرعات العتادية. تبحث هذه الورقة فيما إذا كانت بنية Transformer خالصة، تُطبق مباشرة على متتاليات من رقع الصور بأدنى حد من التعديلات، يمكنها منافسة أحدث شبكات CNN أو التفوق عليها.

الأفكار الرئيسية

الصور كمتتاليات من الكلمات: تُقسَّم الصورة $x \in R^{H \times W \times C}$ إلى رقع غير متداخلة بحجم $P \times P$ . وتُعامل الرقع المسطحة تماماً كما تُعامل الرموز في NLP.
أدنى تحيز استقرائي: على عكس شبكات CNN حيث تتواجد الموضعية المكانية والتكافؤ الانتقالي في كل طبقة، يستخدم ViT انتباهاً ذاتياً شاملاً عبر الرقع. لا يُشار إلى البنية ثنائية الأبعاد إلا عند استخراج الرقع وعند استيفاء تضمينات الموضع لضبط النموذج بدقة عند دقة وضوح أعلى.
الحجم يتفوق على التحيز الاستقرائي: بدون تحيز استقرائي قوي، يقل أداء ViT عن ResNets في مجموعات البيانات الصغيرة والمتوسطة (مثل ImageNet القياسية دون انتظام قوي). ومع ذلك، عند التدريب المسبق على مجموعات بيانات ضخمة (ImageNet-21k مع 14 مليون صورة أو JFT-300M مع 303 مليون صورة)، يضاهي ViT أداء شبكات CNN أو يتفوق عليها مع استهلاك عمليات FLOPs أقل بكثير أثناء التدريب.

الطريقة

تضمين الرقع وبناء المدخلات: بالنظر إلى حجم الرقعة $(P, P)$ ، تنتج الصورة $N = H W / P^{2}$ من الرقع. كل رقعة مسطحة $x_{p}^{i} \in R^{P^{2} \cdot C}$ يتم إسقاطها خطياً بواسطة المصفوفة $E \in R^{(P^{2} \cdot C) \times D}$ إلى البعد $D$ . يُضاف رمز تصنيف قابل للتعلم $x_{class}$ في البداية، وتُضاف تضمينات موضعية أحادية البعد قابلة للتعلم $E_{p os} \in R^{(N + 1) \times D}$ : $z_{0} = [x_{class}; x_{p}^{1} E; x_{p}^{2} E; \dots; x_{p}^{N} E] + E_{p os}$
طبقات مشفر المحول (Transformer Encoder): تمر المتتالية عبر $L$ من الكتل المتطابقة التي تتناوب بين الانتباه الذاتي متعدد الرؤوس (MSA) وكتل MLP، باستخدام التسوية المسبقة للطبقات (LN) والاتصالات المتبقية: $z_{ℓ}^{'} = MSA (LN (z_{ℓ - 1})) + z_{ℓ - 1}, ℓ = 1 \dots L$ $z_{ℓ} = MLP (LN (z_{ℓ}^{'})) + z_{ℓ}^{'}, ℓ = 1 \dots L$
التمثيل ورأس التصنيف: يُشتق التمثيل من رمز المخرج الأول: $y = LN (z_{L}^{0})$ تُستخدم شبكة MLP صغيرة (مع طبقة مخفية واحدة) كرأس للتصنيف أثناء التدريب المسبق، وتُستبدل بإسقاط خطي وحيد ( $D \times K$ ) أثناء الضبط الدقيق.
الضبط الدقيق بدقة وضوح أعلى: عند الضبط الدقيق بدقة صور أعلى (مثل $384 \times 384$ أو $512 \times 512$ )، يظل حجم الرقعة $P$ ثابتاً، مما يزيد من طول المتتالية $N$ . تُعدَّل تضمينات الموضع أحادية البعد المدربة مسبقاً عبر الاستيفاء ثنائي التكعيب 2D وفقاً لمواقعها الأصلية في الشبكة المكانية.

النتائج

المقارنة مع أحدث النماذج (SOTA):
- حقق ViT-H/14 المدرب مسبقاً على JFT-300M دقة بلغت 88.55% على ImageNet، و90.72% على ImageNet ReaL، و94.55% على CIFAR-100، و77.63% على مجموعة مهام VTAB المكونة من 19 مهمة، مستغرقاً 2.5 ألف يوم-نواة TPUv3.
- حقق ViT-L/16 المدرب مسبقاً على JFT-300M دقة 87.76% على ImageNet باستخدام 0.68 ألف يوم-نواة TPUv3 فقط، متفوقاً على BiT-L (ResNet152x4، 87.54%، 9.9 ألف يوم-نواة TPUv3) ومقترباً من Noisy Student EfficientNet-L2 (88.4/88.5%، 12.3 ألف يوم-نواة TPUv3).
- التدريب المسبق على مجموعات البيانات العامة: وصل ViT-L/16 المدرب مسبقاً على ImageNet-21k إلى 85.30% على ImageNet.
المفاضلة بين الحوسبة والأداء: عبر تجارب التوسع على JFT-300M، هيمن ViT الخالص على ResNets على منحنى باريتو، متطلباً حوسبة أقل بمقدار $2 \times$ إلى $4 \times$ للوصول إلى دقة مكافئة.
التمثيلات الداخلية: تحتوي الطبقات الدنيا على رؤوس انتباه تنتبه عبر الصورة بأكملها إلى جانب رؤوس ذات مسافات انتباه موضعية وصغيرة. وتزداد مسافة الانتباه عموماً بشكل رتيب مع زيادة العمق.

القيود والأسئلة المفتوحة

التعطش للبيانات: يعمم ViT بشكل ضعيف على مجموعات البيانات الصغيرة دون توفر بيانات تدريب مسبق ضخمة (ImageNet-21k أو JFT-300M) أو انتظام صارم.
فجوة التعلم شبه الخاضع للإشراف: بلغت التجارب الأولية للتنبؤ بالرقع المقنعة 79.9% على ImageNet (باستخدام ViT-B/16)، تاركة فجوة في الأداء بنسبة 4% مقارنة بالتدريب المسبق الخاضع للإشراف.
التطبيق على التنبؤ الكثيف: يركز العمل الأولي حصرياً على التصنيف؛ ولا يزال تكييف محولات الرقع الخالصة مع المهام المكانية الكثيفة مثل اكتشاف الأجسام والتجزئة الدلالية تحدياً بحثياً مستمراً.

المصطلحات الرئيسية

Vision Transformer (ViT): بنية Transformer خالصة تُطبق مباشرة على متتاليات من رقع الصور غير المتداخلة لمهام الرؤية دون استخراج ميزات التفافية.
Patch Embeddings (تضمينات الرقع): التمثيلات ذات البعد $D$ الناتجة عن الإسقاط الخطي لرقع البكسل المسطحة بحجم $P \times P$ في الفضاء الكامن للنموذج.
Classification Token ([class]) (رمز التصنيف): رمز قابل للتعلم يُضاف في مقدمة متتالية الرقع، وتعمل حالته الناتجة بعد الطبقة الأخيرة من Transformer كتمثيل شامل للصورة.
Inductive Bias (التحيز الاستقرائي): الافتراضات المعمارية المضمنة؛ وفي شبكات CNN تشمل الموضعية المكانية والتكافؤ الانتقالي، وهي غائبة إلى حد كبير في ViT.
Position Embeddings (تضمينات الموضع): متجهات أحادية البعد قابلة للتعلم تُضاف إلى تضمينات الرقع للاحتفاظ بمعلومات الترتيب المكاني داخل المتتالية.
Attention Distance (مسافة الانتباه): متوسط المسافة المكانية في الصورة التي يدمج عبرها رأس الانتباه المعلومات، وهي مماثلة مفاهيمياً لحجم الحقل المستقبِل في شبكات CNN.
Hybrid Architecture (البنية الهجينة): نموذج يُطبق فيه إسقاط تضمين الرقع على خرائط الميزات المستخرجة من شبكة التفافية أولية بدلاً من بكسلات الصورة الخام.
Visual Task Adaptation Benchmark (VTAB): مجموعة معايير اختبار تتألف من 19 مهمة رؤية متنوعة مصنفة إلى مجموعات طبيعية ومتخصصة ومنظمة، وتُقيَّم باستخدام 1,000 مثال لكل مهمة.

أسئلة شائعة

لماذا يكون أداء ViT أسوأ من ResNet على مجموعات البيانات الأصغر مثل ImageNet-1k؟

تفتقر نماذج Transformers إلى التحيزات الاستقرائية الالتفافية مثل الموضعية والتكافؤ الانتقالي. على مجموعات البيانات الأصغر، يميل ViT إلى فرط التخصيص لأنه يضطر لتعلم العلاقات المكانية من البداية، في حين تجعل التحيزات الاستقرائية المضمنة في ResNet أكثر كفاءة في استغلال عينات البيانات المحدودة.

كيف يتعامل ViT مع الصور ذات الدقة المختلفة أو الأعلى أثناء الضبط الدقيق؟

يحافظ ViT على ثبات حجم الرقعة، مما يزيد من الطول الإجمالي للمتتالية. يتم تعيين تضمينات الموضع أحادية البعد المدربة مسبقاً مرة أخرى على الشبكة ثنائية الأبعاد الأصلية واستيفاؤها باستخدام الاستيفاء ثنائي التكعيب 2D لتتناسب مع حجم الشبكة الجديد.

هل تعمل تضمينات الموضع المدركة للأبعاد الثنائية على تحسين أداء ViT مقارنة بالتضمينات أحادية البعد القياسية؟

لا. وجد الباحثون أن تضمينات الإحداثيات ثنائية الأبعاد أو تضمينات الموضع النسبية أعطت أداءً مطابقاً تقريباً لتضمينات الموضع القياسية أحادية البعد القابلة للتعلم، لأن النموذج يتعلم بسهولة طوبولوجيا الصفوف والأعمدة ثنائية الأبعاد بنفسه.

ما الفرق بين ViT والبنية الهجينة (Hybrid)؟

يقوم نموذج ViT الخالص بتقطيع صورة الإدخال الخام مباشرة إلى رقع بكسل بحجم $P \times P$ وتطبيق إسقاط خطي. بينما يقوم النموذج الهجين أولاً بتمرير الصورة عبر شبكة ResNet أساسية أولية ويستخرج رموز الرقع من خريطة الميزات المتوسطة الناتجة.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي