التقرير التقني لـ DeepSeek-V3

دليل القراءة

المشكلة والدوافع

تواصل النماذج اللغوية الكبيرة (LLMs) الرائدة تقليص الفجوة نحو الذكاء الاصطناعي العام (AGI)، إلا أن توسيع نطاق النماذج مفتوحة المصدر يتطلب عادةً ميزانيات حوسبة وبنى تحتية باهظة التكلفة. علاوة على ذلك، يفرض توسيع معماريات خليط الخبراء (MoE) تحديات هندسية محددة:

1. تراجع الأداء بسبب الخسارة المساعدة: تقيّد خسائر موازنة الحمل المساعدة التقليدية مرونة التوجيه بشدة وتضر بقدرة النمذجة اللغوية.
2. اختناقات الاتصال: يتسبب التوجيه الدقيق عبر العقد في تكاليف اتصالات هائلة من نمط الكل-إلى-الكل (all-to-all)، وغالبًا ما تصل نسبة الحوسبة إلى الاتصال إلى 1:1.
3. الدقة العددية والذاكرة: يستهلك التدريب القياسي بدقة 16 بت قدرًا كبيرًا من الذاكرة، بينما يعاني تدريب FP8 الساذج من عدم الاستقرار العددي والانخفاض الحسابي (underflow) بسبب القيم المتطرفة في التنشيط ومحدودية دقة التراكم في أنوية Tensor Core.

يعالج DeepSeek-V3 هذه التحديات من خلال استراتيجيات خوارزمية مصممة بالتوازي مع تحسينات البنية التحتية على مستوى العتاد لتحقيق أداء رائد بأقل تكلفة تدريب.

الأفكار الرئيسية

• كفاءة المعمارية: تجمع بين ضغط المفتاح والقيمة منخفض الرتبة عبر Multi-head Latent Attention (MLA) وبين خبراء التوجيه دقيقي الحبيبات عبر DeepSeekMoE (خبير مشترك واحد + 256 خبير موجه، يُنشط منهم 8).
• موازنة الحمل الخالية من الخسائر المساعدة: تستبدل الخسائر المساعدة التي تضعف الأداء بحدود انحياز (bias terms) للخبراء تُحدّث ديناميكيًا، مما يتيح تخصصًا متميزًا في المجالات دون انهيار التوجيه.
• التنبؤ بعدة رموز (MTP): يتنبأ بعدة رموز مستقبلية بالتتابع عند كل موضع على طول سلسلة سببية محفوظة لإثراء إشارات التدريب ودعم التوليد التخميني (1.8× TPS).
• توازي DualPipe: جدولة خط أنابيب ثنائية الاتجاه تتداخل فيها حوسبة التمرير الأمامي والخلفي بالكامل مع اتصالات MoE الكل-إلى-الكل وPP عبر العقد.
• التدريب بدقة مختلطة FP8: استخدام تنسيق E4M3 عبر جميع الموترات، وتطبيق تحجيم التنشيطات على مستوى البلاطات ($1\times 128$) والأوزان على مستوى الكتل ($128\times 128$)، مصحوبًا بتفريغ التراكم إلى سجلات أنوية CUDA Core بدقة FP32 كل $N_c=128$ خطوة.
• تقطير الاستدلال: تقطير أنماط استدلال التحقق والتأمل طويلة السلسلة (long-CoT) من سلسلة DeepSeek-R1 مباشرة إلى مرحلتي التدريب اللاحق SFT وRL.

الطريقة

1. Multi-head Latent Attention (MLA)

بالنسبة للحالة الخفية للرمز ${\mathbf{h}}_t$، يضغط MLA ذاكرة التخزين المؤقت KV إلى متجه كامن مشترك ${\mathbf{c}}_t^{KV}\in {\mathbb{R}}^{d_c}$ وحالات الاستعلام إلى ${\mathbf{c}}_t^Q\in {\mathbb{R}}^{d_c^{\prime }}$:

$${\mathbf{c}}_t^{KV}=W^{DKV}{\mathbf{h}}_t,{\mathbf{k}}_t^C=W^{UK}{\mathbf{c}}_t^{KV},{\mathbf{v}}_t^C=W^{UV}{\mathbf{c}}_t^{KV}$$ $${\mathbf{k}}_t^R=\mathrm{RoPE}(W^{KR}{\mathbf{h}}_t),{\mathbf{k}}_{t,i}=[{\mathbf{k}}_{t,i}^C;{\mathbf{k}}_t^R]$$

أثناء الاستدلال، يقتصر التخزين المؤقت على ${\mathbf{c}}_t^{KV}$ و${\mathbf{k}}_t^R$ فقط، مما يقلل بشكل كبير من استهلاك الذاكرة.

2. DeepSeekMoE مع موازنة خالية من الخسائر المساعدة

تجمع مخرجات شبكة التغذية الأمامية بين $N_s$ من الخبراء المشتركين و$N_r$ من الخبراء الموجهين:

$${\mathbf{h}}_t^{\prime }={\mathbf{u}}_t+\sum _{i=1}^{N_s}{\mathrm{FFN}}_i^{(s)}({\mathbf{u}}_t)+\sum _{i=1}^{N_r}{g}_{i,t}{\mathrm{FFN}}_i^{(r)}({\mathbf{u}}_t)$$

تُحسب درجات التقارب مع الخبراء بالصيغة $s_{i,t}=\mathrm{Sigmoid}({\mathbf{u}}_t^T{\mathbf{e}}_i)$. وتُحسب قيم البوابات $g_{i,t}$ عن طريق تسوية $g_{i,t}^{\prime }$، حيث تتضمن قرارات التوجيه حد انحياز ديناميكي $b_i$:

$$g_{i,t}^{\prime }=\{\begin{array}{ll}{s}_{i,t},& s_{i,t}+b_i\in \mathrm{Topk}(\{s_{j,t}+b_j\mid 1\le j\le N_r\},K_r)\\ 0,& \text{غير ذلك}\end{array}$$

إذا كان الخبير $i$ محملًا فوق طاقته في نهاية الخطوة، فإن $b_i\leftarrow b_i-\gamma$؛ وإذا كان غير محمل بالقدر الكافي، فإن $b_i\leftarrow b_i+\gamma$ (حيث $\gamma =0.001$). وتُستخدم خسارة موازنة ضئيلة جدًا على مستوى التسلسل ($\alpha =0.0001$) كعنصر مكمل.

3. التنبؤ بعدة رموز (MTP)

لعمق التنبؤ $k\in [1,D]$ (مع $D=1$)، يُدمج التمثيل ${\mathbf{h}}_i^{k-1}$ مع تضمين الرمز المزاح:

$${\mathbf{h}}_i^{\prime k}=M_k[\mathrm{RMSNorm}({\mathbf{h}}_i^{k-1});\mathrm{RMSNorm}(\mathrm{Emb}(t_{i+k}))]$$ $${\mathbf{h}}_{1:T-k}^k={\mathrm{TRM}}_k({\mathbf{h}}_{1:T-k}^{\prime k}),P_{i+k+1}^k=\mathrm{OutHead}({\mathbf{h}}_i^k)$$

تضيف خسارة التدريب الإجمالية المقدار ${\mathcal{L}}_{\text{MTP}}=\frac{\lambda }{D}{\sum }_{k=1}^D{\mathcal{L}}_{\text{MTP}}^k$.

النتائج

• ميزانية التدريب المسبق: دُرِّب مسبقًا على 14.8 تريليون رمز خلال 2.664 مليون ساعة عمل فقط لـ H800 GPU (3.7 أيام لكل 1 تريليون رمز على 2048 وحدة معالجة رسومات). استهلك التدريب الكامل 2.788 مليون ساعة عمل GPU (~5.576 مليون دولار بمعدل 2 دولار للساعة).
• الاستقرار: صفر تراجعات للوراء (rollbacks) وصفر قفزات غير قابلة للاسترداد في دالة الخسارة عبر كامل الـ 14.8 تريليون رمز.
• تقييمات النموذج الأساسي (Base Model):
  • يتفوق على LLaMA-3.1 405B Base في MMLU (87.1 مقابل 84.4)، وBBH (87.5 مقابل 82.9)، وHumanEval (65.2 مقابل 54.9)، وMATH (61.6 مقابل 49.0).
  • يتفوق على Qwen2.5 72B Base في C-Eval (90.1 مقابل 89.2) وGSM8K (89.3 مقابل 88.3).
• تقييمات نموذج المحادثة (Chat Model):
  • الرياضيات والبرمجة: يسجل أعلى درجات للنماذج غير المصنفة كـ o1: MATH-500 (90.2)، وAIME 2024 (39.2)، وLiveCodeBench CoT (40.5).
  • المعرفة العامة: MMLU (88.5)، وMMLU-Pro (75.9)، وGPQA-Diamond (59.1).
  • المهام المفتوحة: يتجاوز معدل فوز 85% في Arena-Hard (85.5%) ويحقق 70.0% في AlpacaEval 2.0 المضبوط حسب الطول.

القيود والأسئلة المفتوحة

• الحدود الدنيا لعتاد الاستدلال: يتطلب التقديم الفعال وحدات نشر كبيرة (32 وحدة معالجة رسومات لوحدة الملء المسبق prefilling، و320 وحدة معالجة رسومات لوحدة فك الترميز decoding)، مما يفرض عوائق في البنية التحتية للمؤسسات الصغيرة.
• تخصيص معالجات التدفق (SM) عبر العقد: خُصص 20 معالج تدفق (SM) لكل GPU بشكل صارم لإدارة إجراءات اتصالات الكل-إلى-الكل عبر العقد بدلاً من حسابات المصفوفات.
• فروقات الدقة الواقعية: يتأخر عن النماذج الرائدة مغلقة المصدر (مثل GPT-4o وClaude-3.5-Sonnet) في المهام الواقعية باللغة الإنجليزية مثل SimpleQA (24.9% مقابل 38.2%)، على الرغم من تصدره في النسخة الصينية من SimpleQA (64.8%).