DeepSeek-V3 Technical Report

DeepSeek-AI; Aixin Liu; Bei Feng; Bing Xue; Bingxuan Wang; Bochao Wu; Chengda Lu; Chenggang Zhao; Chengqi Deng; Chenyu Zhang; Chong Ruan; Damai Dai; Daya Guo; Dejian Yang; Deli Chen; Dongjie Ji; Erhang Li; Fangyun Lin; Fucong Dai; Fuli Luo; Guangbo Hao; Guanting Chen; Guowei Li; H. Zhang; Han Bao; Hanwei Xu; Haocheng Wang; Haowei Zhang; Honghui Ding; Huajian Xin; Huazuo Gao; Hui Li; Hui Qu; J. L. Cai; Jian Liang; Jianzhong Guo; Jiaqi Ni; Jiashi Li; Jiawei Wang; Jin Chen; Jingchang Chen; Jingyang Yuan; Junjie Qiu; Junlong Li; Junxiao Song; Kai Dong; Kai Hu; Kaige Gao; Kang Guan; Kexin Huang

शोध पत्र · arXiv 2412.19437

DeepSeek-V3 Technical Report

DeepSeek-AI, Aixin Liu, Bei Feng, Bing Xue, Bingxuan Wang, Bochao Wu, Chengda Lu, Chenggang Zhao, Chengqi Deng, Chenyu Zhang, Chong Ruan, Damai Dai et al.

प्रकाशित 2024-12-27cs.CLcs.AI arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 फ्रंटियर-स्केल MoE मॉडलों के लिए भारी कम्प्यूटेशनल बजट की आवश्यकता होती है, वे सहायक संतुलन लॉस के कारण प्रदर्शन में गिरावट झेलते हैं, और बड़े पैमाने पर क्रॉस-नोड all-to-all संचार बाधाओं का सामना करते हैं।
🔧 Multi-head Latent Attention (MLA), auxiliary-loss-free संतुलन के साथ DeepSeekMoE, फाइन-ग्रेन्ड क्वांटाइजेशन के साथ FP8 मिक्स्ड-प्रिसिजन प्रशिक्षण, DualPipe ओवरलैप शेड्यूलिंग, और Multi-Token Prediction (MTP) का उपयोग करता है।
📈 केवल 2.788M H800 GPU घंटों (~$5.576M) का उपयोग करके 14.8T टोकन पर 671B पैरामीटर (37B सक्रिय) प्रशिक्षित किए, जिससे अत्याधुनिक ओपन-सोर्स स्कोर प्राप्त हुए और यह GPT-4o व Claude-3.5-Sonnet के साथ प्रतिस्पर्धी बना।

सार

हम DeepSeek-V3 प्रस्तुत करते हैं, जो एक सशक्त Mixture-of-Experts (MoE) भाषा मॉडल है। इसमें कुल 671B पैरामीटर हैं, जिनमें से प्रत्येक टोकन के लिए 37B सक्रिय होते हैं। कुशल इन्फरेंस और किफ़ायती प्रशिक्षण प्राप्त करने के लिए, DeepSeek-V3 Multi-head Latent Attention (MLA) और DeepSeekMoE आर्किटेक्चर को अपनाता है, जिन्हें DeepSeek-V2 में पूरी तरह से सत्यापित किया गया था। इसके अलावा, DeepSeek-V3 लोड संतुलन के लिए एक auxiliary-loss-free रणनीति की शुरुआत करता है और बेहतर प्रदर्शन के लिए multi-token prediction प्रशिक्षण उद्देश्य निर्धारित करता है। हमने DeepSeek-V3 को 14.8 ट्रिलियन विविध और उच्च-गुणवत्ता वाले टोकन पर प्री-ट्रेन किया है, जिसके बाद इसकी क्षमताओं का पूरा लाभ उठाने के लिए Supervised Fine-Tuning और Reinforcement Learning चरणों का उपयोग किया गया। व्यापक मूल्यांकन से पता चलता है कि DeepSeek-V3 अन्य ओपन-सोर्स मॉडलों से बेहतर प्रदर्शन करता है और प्रमुख क्लोज्ड-सोर्स मॉडलों के समकक्ष परिणाम प्राप्त करता है। अपने उत्कृष्ट प्रदर्शन के बावजूद, DeepSeek-V3 को अपने पूरे प्रशिक्षण के लिए केवल 2.788M H800 GPU घंटों की आवश्यकता होती है। इसके अतिरिक्त, इसकी प्रशिक्षण प्रक्रिया उल्लेखनीय रूप से स्थिर रही। संपूर्ण प्रशिक्षण प्रक्रिया के दौरान, हमें किसी भी अपूरणीय लॉस स्पाइक का सामना नहीं करना पड़ा और न ही कोई रोलबैक करना पड़ा। मॉडल चेकपॉइंट्स https://github.com/deepseek-ai/DeepSeek-V3 पर उपलब्ध हैं।

मूल सार (अंग्रेज़ी)

We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi-head Latent Attention (MLA) and DeepSeekMoE architectures, which were thoroughly validated in DeepSeek-V2. Furthermore, DeepSeek-V3 pioneers an auxiliary-loss-free strategy for load balancing and sets a multi-token prediction training objective for stronger performance. We pre-train DeepSeek-V3 on 14.8 trillion diverse and high-quality tokens, followed by Supervised Fine-Tuning and Reinforcement Learning stages to fully harness its capabilities. Comprehensive evaluations reveal that DeepSeek-V3 outperforms other open-source models and achieves performance comparable to leading closed-source models. Despite its excellent performance, DeepSeek-V3 requires only 2.788M H800 GPU hours for its full training. In addition, its training process is remarkably stable. Throughout the entire training process, we did not experience any irrecoverable loss spikes or perform any rollbacks. The model checkpoints are available at https://github.com/deepseek-ai/DeepSeek-V3.

पढ़ने की गाइड

समस्या और प्रेरणा

फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) AGI की दिशा में अंतर को लगातार पाट रहे हैं, लेकिन ओपन-सोर्स मॉडलों को स्केल करने के लिए आम तौर पर अत्यधिक कम्प्यूट बजट और बुनियादी ढांचे की आवश्यकता होती है। इसके अलावा, Mixture-of-Experts (MoE) आर्किटेक्चर को स्केल करने से विशिष्ट इंजीनियरिंग चुनौतियाँ सामने आती हैं:

सहायक लॉस में गिरावट: पारंपरिक सहायक लोड-संतुलन लॉस रूटिंग लचीलेपन को भारी रूप से सीमित करते हैं और भाषा मॉडलिंग क्षमता को नुकसान पहुँचाते हैं।
संचार बाधाएं: फाइन-ग्रेन्ड क्रॉस-नोड रूटिंग के कारण गंभीर all-to-all संचार ओवरहेड उत्पन्न होता है, जो अक्सर 1:1 के कम्प्यूटेशन-टू-कम्युनिकेशन अनुपात तक पहुँच जाता है।
संख्यात्मक शुद्धता और मेमोरी: मानक 16-बिट प्रशिक्षण मेमोरी-सघन होता है, जबकि साधारण FP8 प्रशिक्षण सक्रियण आउटलायर्स और सीमित Tensor Core संचय शुद्धता के कारण संख्यात्मक अस्थिरता और अंडरफ्लो से ग्रस्त होता है।

DeepSeek-V3 न्यूनतम प्रशिक्षण लागत पर फ्रंटियर प्रदर्शन प्राप्त करने के लिए सह-डिज़ाइन की गई एल्गोरिदमिक रणनीतियों और हार्डवेयर-स्तरीय इंफ्रास्ट्रक्चर अनुकूलन के माध्यम से इन चुनौतियों का समाधान करता है।

मुख्य विचार

आर्किटेक्चर दक्षता: Multi-head Latent Attention (MLA) के माध्यम से लो-रैंक Key-Value कम्प्रेशन को DeepSeekMoE (1 शेयर्ड + 256 रूटेड एक्सपर्ट्स, 8 सक्रिय) के माध्यम से फाइन-ग्रेन्ड रूटेड एक्सपर्ट्स के साथ जोड़ता है।
Auxiliary-Loss-Free लोड संतुलन: प्रदर्शन को कम करने वाले सहायक लॉस को डायनामिक रूप से अपडेट किए गए एक्सपर्ट बायस पदों के साथ बदलता है, जिससे रूटिंग कोलैप्स के बिना विशिष्ट डोमेन विशेषज्ञता संभव होती है।
Multi-Token Prediction (MTP): प्रशिक्षण संकेतों को समृद्ध करने और स्पेक्युलेटिव डिकोडिंग (1.8× TPS) का समर्थन करने के लिए एक संरक्षित कारण श्रृंखला (causal chain) के साथ प्रत्येक स्थिति पर क्रमिक रूप से कई भविष्य के टोकन की भविष्यवाणी करता है।
DualPipe समानता: एक द्विदिशात्मक पाइपलाइन शेड्यूल जो क्रॉस-नोड MoE all-to-all और PP संचार के साथ फॉरवर्ड और बैकवर्ड गणना को पूरी तरह से ओवरलैप करता है।
FP8 मिक्स्ड-प्रिसिजन प्रशिक्षण: सभी टेन्सरों में E4M3 का उपयोग करता है, टाइल-वाइज ( $1 \times 128$ ) सक्रियण और ब्लॉक-वाइज ( $128 \times 128$ ) वेट स्केलिंग लागू करता है, साथ ही संचय को प्रत्येक $N_{c} = 128$ चरणों में FP32 में CUDA कोर रजिस्टरों पर ऑफलोड किया जाता है।
तर्क डिस्टिलेशन: DeepSeek-R1 श्रृंखला से सत्यापन और प्रतिबिंब लंबे-CoT तर्क पैटर्नों को सीधे SFT और RL पोस्ट-प्रशिक्षण चरणों में डिस्टिल करता है।

विधि

1. Multi-head Latent Attention (MLA)

टोकन हिडन स्टेट $h_{t}$ के लिए, MLA KV कैश को एक शेयर्ड लेटेंट वेक्टर $c_{t}^{K V} \in R^{d_{c}}$ में और क्वेरी स्टेट्स को $c_{t}^{Q} \in R^{d_{c}^{'}}$ में कंप्रेस करता है:

$c_{t}^{K V} = W^{DK V} h_{t}, k_{t}^{C} = W^{U K} c_{t}^{K V}, v_{t}^{C} = W^{U V} c_{t}^{K V}$ $k_{t}^{R} = RoPE (W^{K R} h_{t}), k_{t, i} = [k_{t, i}^{C}; k_{t}^{R}]$

इन्फरेंस के दौरान, कैशिंग केवल $c_{t}^{K V}$ और $k_{t}^{R}$ तक ही सीमित रहती है, जिससे मेमोरी फुटप्रिंट में भारी कमी आती है।

2. DeepSeekMoE विथ Auxiliary-Loss-Free बैलेंसिंग

फ़ीड-फ़ॉरवर्ड नेटवर्क आउटपुट $N_{s}$ शेयर्ड एक्सपर्ट्स और $N_{r}$ रूटेड एक्सपर्ट्स को जोड़ते हैं:

$h_{t}^{'} = u_{t} + i = 1 \sum N_{s} FFN_{i}^{(s)} (u_{t}) + i = 1 \sum N_{r} g_{i, t} FFN_{i}^{(r)} (u_{t})$

विशेषज्ञ समानता की गणना $s_{i, t} = Sigmoid (u_{t}^{T} e_{i})$ के रूप में की जाती है। गेटिंग मान $g_{i, t}$ की गणना $g_{i, t}^{'}$ को सामान्य करके की जाती है, जहाँ रूटिंग निर्णयों में एक डायनामिक बायस पद $b_{i}$ शामिल होता है:

$g_{i, t}^{'} = {s_{i, t}, 0, s_{i, t} + b_{i} \in Topk ({s_{j, t} + b_{j} ∣ 1 \leq j \leq N_{r}}, K_{r}) अन्यथा$

यदि स्टेप समाप्त होने पर एक्सपर्ट $i$ ओवरलोड होता है, तो $b_{i} \leftarrow b_{i} - γ$ ; यदि अंडरलोड होता है, तो $b_{i} \leftarrow b_{i} + γ$ (जहाँ $γ = 0.001$ )। एक छोटे अनुक्रम-वार संतुलन लॉस ( $α = 0.0001$ ) का उपयोग पूरक के रूप में किया जाता है।

3. Multi-Token Prediction (MTP)

भविष्यवाणी गहराई $k \in [1, D]$ ( $D = 1$ के साथ) के लिए, निरूपण $h_{i}^{k - 1}$ को स्थानांतरित टोकन एम्बेडिंग के साथ जोड़ा जाता है:

$h_{i}^{' k} = M_{k} [RMSNorm (h_{i}^{k - 1}); RMSNorm (Emb (t_{i + k}))]$ $h_{1 : T - k}^{k} = TRM_{k} (h_{1 : T - k}^{' k}), P_{i + k + 1}^{k} = OutHead (h_{i}^{k})$

कुल प्रशिक्षण लॉस $L_{MTP} = \frac{λ}{D} \sum_{k = 1}^{D} L_{MTP}^{k}$ जोड़ता है।

परिणाम

प्री-ट्रेनिंग बजट: 14.8T टोकन पर केवल 2.664M H800 GPU घंटों (2048 GPU पर प्रति 1T टोकन 3.7 दिन) में प्री-ट्रेन किया गया। पूर्ण प्रशिक्षण में 2.788M GPU घंटे खर्च हुए ($2/घंटे की दर से ~$5.576M)।
स्थिरता: सभी 14.8T टोकन में शून्य रोलबैक और शून्य अपूरणीय लॉस स्पाइक्स।
बेस मॉडल बेंचमार्क:
- MMLU (87.1 बनाम 84.4), BBH (87.5 बनाम 82.9), HumanEval (65.2 बनाम 54.9), और MATH (61.6 बनाम 49.0) पर LLaMA-3.1 405B Base से बेहतर प्रदर्शन।
- C-Eval (90.1 बनाम 89.2) और GSM8K (89.3 बनाम 88.3) पर Qwen2.5 72B Base से बेहतर प्रदर्शन।
चैट मॉडल बेंचमार्क:
- गणित और कोड: गैर-o1 मॉडलों में अत्याधुनिक स्कोर सेट करता है: MATH-500 (90.2), AIME 2024 (39.2), LiveCodeBench CoT (40.5)।
- व्यापक ज्ञान: MMLU (88.5), MMLU-Pro (75.9), GPQA-Diamond (59.1)।
- ओपन-एंडेड: Arena-Hard (85.5%) पर 85% से अधिक जीत दर और लंबाई-नियंत्रित AlpacaEval 2.0 पर 70.0% प्राप्त करता है।

सीमाएँ और खुले प्रश्न

हार्डवेयर इन्फरेंस न्यूनतम आवश्यकताएं: कुशल सर्विंग के लिए बड़ी परिनियोजन इकाइयों (प्रीफिलिंग इकाई के लिए 32 GPU, डिकोडिंग इकाई के लिए 320 GPU) की आवश्यकता होती है, जो छोटे संगठनों के लिए बुनियादी ढांचे की बाधाएं प्रस्तुत करती है।
क्रॉस-नोड SM आवंटन: प्रति GPU 20 SM मैट्रिक्स गणित के बजाय केवल क्रॉस-नोड all-to-all संचार रूटीन को प्रबंधित करने के लिए समर्पित थे।
तथ्यात्मक विसंगतियां: चीनी SimpleQA (64.8%) में आगे रहने के बावजूद, अंग्रेजी तथ्यात्मक कार्यों जैसे SimpleQA (24.9% बनाम 38.2%) में क्लोज्ड-सोर्स फ्रंटियर मॉडल (जैसे, GPT-4o, Claude-3.5-Sonnet) से पीछे है।

मुख्य शब्द

Multi-head Latent Attention (MLA): एक अटेंशन तंत्र जो इन्फरेंस के दौरान KV कैश की खपत को भारी रूप से कम करने के लिए Keys और Values को एक साझा लेटेंट वेक्टर में लो-रैंक कंप्रेस करता है।
DeepSeekMoE: एक Mixture-of-Experts आर्किटेक्चर जो विशेषज्ञता और रूटिंग अभिव्यक्ति को बढ़ाने के लिए समर्पित शेयर्ड विशेषज्ञों के साथ फाइन-ग्रेन्ड विशेषज्ञों का उपयोग करता है।
Auxiliary-Loss-Free Load Balancing: एक रूटिंग दृष्टिकोण जो उद्देश्य में बड़े नियमितीकरण सहायक लॉस को जोड़ने के बजाय बैच लोड के आधार पर प्रति-विशेषज्ञ समानता बायस पदों को गतिशील रूप से संशोधित करता है।
Multi-Token Prediction (MTP): एक प्रशिक्षण ढांचा जो मुख्य मॉडल शब्दावली एम्बेडिंग और हेड्स का पुन: उपयोग करते हुए कॉज़ल मॉड्यूल का उपयोग करके प्रति स्थिति क्रमिक रूप से कई भविष्य के टोकन की भविष्यवाणी करता है।
DualPipe: एक द्विदिशात्मक पाइपलाइन समानांतरता एल्गोरिदम जो फॉरवर्ड, बैकवर्ड-फॉर-इनपुट और बैकवर्ड-फॉर-वेट्स गणना को all-to-all और पाइपलाइन संचार के साथ ओवरलैप करता है।
Warp Specialization: एक निष्पादन मॉडल जो समवर्ती IB और NVLink डेटा प्रेषण और संयोजन के लिए GPU स्ट्रीमिंग मल्टीप्रोसेसरों को समर्पित टास्क वार्प्स में विभाजित करता है।
Group Relative Policy Optimization (GRPO): एक रीइन्फोर्समेंट लर्निंग एल्गोरिदम जो सैंपल की गई प्रतिक्रियाओं के समूह के सापेक्ष लाभों की गणना करके एक अलग क्रिटिक मॉडल की आवश्यकता को समाप्त करता है।

प्रश्न

DeepSeek-V3 में कुल और सक्रिय पैरामीटर कितने हैं?

DeepSeek-V3 में कुल 671B पैरामीटर हैं, जिनमें से प्रत्येक टोकन के लिए 37B सक्रिय होते हैं (256 में से 1 शेयर्ड एक्सपर्ट और 8 रूटेड एक्सपर्ट चुने जाते हैं)।

DeepSeek-V3 को प्रशिक्षित करने में कितनी लागत आई?

पूर्ण प्रशिक्षण के लिए 2.788M H800 GPU घंटों (प्री-ट्रेनिंग के लिए 2.664M, संदर्भ विस्तार के लिए 119K, और पोस्ट-ट्रेनिंग के लिए 5K) की आवश्यकता थी, जिसकी लागत अनुमानित $2 प्रति GPU घंटे की दर से लगभग $5.576M USD थी।

auxiliary-loss-free संतुलन विधि मानक सहायक लॉस से बेहतर क्यों है?

मानक अनुक्रम-स्तरीय सहायक लॉस व्यक्तिगत अनुक्रमों पर समान विशेषज्ञ उपयोग के लिए मजबूर करते हैं, जिससे डोमेन विशेषज्ञता को नुकसान पहुँचता है। DeepSeek का डायनामिक बायस अपडेट प्राथमिक भाषा मॉडलिंग ग्रेडिएंट उद्देश्य को प्रभावित किए बिना बैच-स्तरीय संतुलन सुनिश्चित करता है।

लॉस डाइवर्जेंस के बिना FP8 मिक्स्ड-प्रिसिजन को सफलतापूर्वक कैसे प्रशिक्षित किया गया?

टाइल-वाइज (1x128) एक्टिवेशन क्वांटाइजेशन, ब्लॉक-वाइज (128x128) वेट क्वांटाइजेशन, शुद्ध E4M3 प्रतिनिधित्व, और कम-सटीकता संचय अंडरफ्लो से बचने के लिए प्रत्येक 128 तत्वों पर CUDA कोर पर मध्यवर्ती Tensor Core योग को FP32 रजिस्टरों में कॉपी करके।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें