Segment Anything

دليل القراءة

المشكلة والدوافع

أحدثت النماذج الأساسية المدربة مسبقاً على بيانات بحجم شبكة الويب ثورة في معالجة اللغات الطبيعية (NLP) والمحاذاة بين الرؤية واللغة (مثل CLIP)، لكن مجال الرؤية الحاسوبية العامة يفتقر إلى نظام أساسي قادر على التعميم الواسع دون تدريب مسبق (zero-shot) عبر مهام التجزئة المتنوعة. تعتبر مجموعات البيانات الحالية لتجزئة الصور صغيرة مقارنة بمجموعات نصوص وصور الويب الضخمة، كما أن معماريات التجزئة التقليدية ترتبط عادةً بفئات دلالية ثابتة أو إعدادات تفاعلية متخصصة.

لبناء نموذج رؤية أساسي للتجزئة، يعالج المؤلفون ثلاثة عناصر رئيسية في آن واحد:

1. المهمة: ما هو الهدف الذي يتيح النقل العام دون تدريب مسبق (zero-shot transfer)؟
2. النموذج: ما هي المعمارية التي تدعم التوجيه المرن في الوقت الفعلي مع حل الغموض البصري المتأصل؟
3. البيانات: كيف يمكن الحصول على أقنعة تجزئة بحجم الويب في حين تفتقر بيانات الإنترنت إلى توصيفات الأقنعة الكثيفة؟

الأفكار الرئيسية

• مهمة التجزئة القابلة للتوجيه (Promptable Segmentation Task): يجب على النموذج إرجاع قناع تجزئة صالح بالنظر إلى أي محث—مثل نقاط المقدمة/الخلفية، أو الصناديق المحيطة، أو الأقنعة الكثيفة، أو النصوص الحرة. عندما يكون المحث غامضاً (مثل نقطة واحدة على قميص)، يجب أن يخرج النموذج عدة أقنعة هرمية معقولة (جزء فرعي، جزء، الكل).
• معمارية مستهلكة غير متماثلة (SAM): يعمل مشفر صور كثيف حوسبياً مرة واحدة لكل صورة لإنتاج التضمين، بينما يقوم مشفر محثات خفيف ومفكك تشفير Transformer ثنائي الطبقات بتقييم المحثات في غضون $\sim 50\text{ ms}$ على وحدة المعالجة المركزية (CPU) داخل متصفح الويب.
• محرك بيانات دولاب الموازنة (Flywheel Data Engine): خط أنابيب لتوصيف البيانات من ثلاث مراحل:
  1. يدوي بمساعدة النموذج: يساعد SAM الموصّفين داخل المتصفح، مما يقلل وقت التوصيف من 34 ثانية إلى 14 ثانية لكل قناع (جمع 4.3 مليون قناع).
  2. شبه تلقائي: يكتشف SAM الأقنعة عالية الثقة لتوجيه الموصّفين نحو الكائنات غير الموصّفة والأقل بروزاً (جمع 5.9 مليون قناع إضافي).
  3. تلقائي بالكامل: يُوجّه SAM عبر شبكة نقاط منتظمة بحجم $32\times 32$ بالإضافة إلى اقتصاصات مكبرة للصور، مما ولد 1.1 مليار قناع في SA-1B.

الطريقة

معمارية النموذج

يتكون SAM من ثلاثة مكونات:

1. مشفر الصور (Image Encoder): نموذج Vision Transformer مدرب مسبقاً بطريقة MAE (الافتراضي ViT-H/16) ومكيف باستخدام انتباه بنوافذ وأربع كتل انتباه عالمية، يعالج مدخلات بحجم $1024\times 1024$ لإنتاج تضمين بحجم $64\times 64$ بـ 256 قناة.
2. مشفر المحثات (Prompt Encoder):
   • المحثات المتفرقة: يتم تعيين النقاط والصناديق المحيطة إلى متجهات ذات 256 بُعداً باستخدام ترميزات موضعية مجمعة مع تضمينات أنواع متعلمة. يتم تشفير النص الحر باستخدام مشفر النصوص الخاص بـ CLIP.
   • المحثات الكثيفة: يتم تقليص حجم أقنعة المدخلات (بدقة أقل بـ $4\times$) عبر التفافات $2\times 2$ بخطوة 2 وإضافتها عنصراً بعنصر إلى تضمين الصورة.
3. مفكك تشفير الأقنعة (Mask Decoder): مفكك تشفير Transformer معدل ومكون من طبقتين. يقوم بتحديث رموز المحثات وتضمينات الصور من خلال التبادل بين الانتباه الذاتي للمحثات والانتباه المتقاطع ثنائي الاتجاه (من الرموز إلى الصورة ومن الصورة إلى الرموز). يتم ترقية ميزات الصورة بمقدار $4\times$ عبر التفافات منقولة، وتقوم شبكة MLP بإسقاط رمز المخرجات لإنتاج مصنف خطي ديناميكي يُطبق نقطياً على الميزات المرقاة.

مخرجات واعية بالغموض ودالة الخسارة

غالباً ما يصف المحث الفردي هياكل متداخلة متعددة. يعالج SAM هذا الغموض عبر التنبؤ بثلاثة أقنعة في وقت واحد مع درجات IoU المقدرة المقابلة لها. أثناء التدريب، يُطبق الانتشار الخلفي فقط على الحد الأدنى للخسارة بين المرشحين: $${\mathcal{L}}_{\text{mask}}=\underset{i\in \{1,2,3\}}{\min }\left(20\cdot {\mathcal{L}}_{\text{focal}}(m_i,y)+{\mathcal{L}}_{\text{dice}}(m_i,y)\right)$$ يعمل رأس إضافي على تقليل متوسط الخطأ التربيعي بين الـ IoU المتوقع والـ IoU الحقيقي: $${\mathcal{L}}_{\text{IoU}}=\Vert {\widehat{\text{IoU}}}_i-\text{IoU}(m_i,y){\Vert }^2$$ عند توفير محثات متعددة، يخرج SAM قناعاً واحداً لا لبس فيه باستخدام رمز مخرجات رابع مخصص.

النتائج

• نقل النقطة إلى قناع دون تدريب مسبق: عبر 23 مجموعة بيانات تجزئة متنوعة (بما في ذلك الصور المأخوذة من منظور الشخص الأول، وتحت الماء، والجوية، والمجهرية)، يتفوق SAM على RITM في 16 من أصل 23 مجموعة بيانات باستخدام محث نقطة مركزية واحدة (مع فوارق تصل إلى $+46.9$ IoU). وعند حل الغموض عبر محدد مثالي (oracle) على تنبؤات SAM الثلاثة، يتفوق SAM على RITM في جميع مجموعات البيانات الـ 23. وتمنح تقييمات الجودة البشرية درجات أعلى لـ SAM باستمرار (بين 7 و9 من 10).
• كشف الحواف دون تدريب مسبق (BSDS500): عند تقييمه دون تدريب مسبق باستخدام شبكة $16\times 16$ مع مرشح Sobel وقمع غير الحد الأقصى (NMS) للحواف، يحقق SAM مقياس ODS يبلغ 0.768 وR50 يبلغ 0.928، مؤدياً بشكل منافس للنماذج الخاضعة للإشراف مثل HED (بـ ODS قدره 0.788، وR50 قدره 0.923).
• مقترحات الكائنات دون تدريب مسبق (LVIS v1): يحقق SAM درجة 59.3 في AR@1000 دون إشراف على الفئات، متفوقاً على نموذج ViTDet-H المرجعي الخاضع للإشراف الكامل في الكائنات المتوسطة (81.6 مقابل 80.8)، والكائنات الكبيرة (86.9 مقابل 87.0)، والفئات النادرة (65.8 مقابل 58.3).
• تجزئة الحالات دون تدريب مسبق: عند توجيهه بصناديق محيطة من ViTDet، يصل SAM إلى 46.5 AP على COCO و44.7 AP على LVIS. وفي التقييمات البشرية، يصنف الموصّفون أقنعة SAM باستمرار بأنها أكثر دقة ونظافة وأعلى جودة من مخرجات ViTDet الخاضعة للإشراف الكامل.

القيود والأسئلة المفتوحة

• التفاصيل الدقيقة والتكبير الشديد: قد يفوّت SAM الهياكل الدقيقة للغاية أو ينتج مكونات صغيرة منفصلة مقارنة بالطرق التفاعلية كثيفة الحوسبة التي تكبّر الاقتصاصات صراحة.
• زمن انتقال خط الأنابيب بالكامل: في حين أن فك تشفير المحثات يحدث في الوقت الفعلي ($\sim 50\text{ ms}$)، فإن تشغيل مشفر الصور الثقيل ViT-H لا يتم في الوقت الفعلي.
• الفهم الدلالي: يولد SAM أقنعة غير مرتبطة بفئات محددة؛ فهو لا يوفر تسميات فئات دلالية أو شاملة (panoptic) بشكل أصيل دون مصنفات خارجية مدمجة.
• التوجيه من النص إلى القناع: لا يزال خط أنابيب التوجيه النصي المحاذى لـ CLIP دون تدريب مسبق أولياً وحساساً مقارنة بالمحثات الهندسية.