Unlimited OCR Works

Youyang Yin; Huanhuan Liu; YY; Qunyi Xie; Chaorun Liu; Shiqi Yang; Shaohua Wang; Zhanlong Liu; Hao Zou; Jinyue Chen; Shu Wei; Jingjing Wu; Mingxin Huang; Zhen Wu; Guibin Wang; Tengyu Du; Lei Jia

Unlimited OCR Works

Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu et al.

प्रकाशित 2026-06-22cs.CVcs.CL arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक LLM-आधारित OCR डिकोडर्स लंबे, बहु-पृष्ठ दस्तावेज़ ट्रांसक्रिप्शन के दौरान लीनियर KV cache वृद्धि और गति में गिरावट का सामना करते हैं।
🔧 Reference Sliding Window Attention (R-SWA) का उपयोग करता है, जहां डिकोडिंग टोकन हाल के आउटपुट की केवल एक स्थिर कॉज़ल विंडो ( $n = 128$ ) को बनाए रखते हुए सभी प्रीफिक्स/विज़ुअल टोकन पर ग्लोबली अटेंड करते हैं।
📈 OmniDocBench v1.5 पर कुल मिलाकर 93.23% (DeepSeek OCR की तुलना में +6.22%) प्राप्त करता है और लंबे आउटपुट में भी जनरेशन लेटेंसी को स्थिर रखता है।

सार

हाल ही में, DeepSeek OCR के उदाहरण वाले एंड-टू-एंड OCR मॉडल्स ने एक बार फिर OCR को चर्चा के केंद्र में ला दिया है। एक व्यापक दृष्टिकोण यह है कि डिकोडर के रूप में एक लार्ज लैंग्वेज मॉडल (LLM) का उपयोग करने से मॉडल को भाषा के पूर्व वितरण (prior distribution) का लाभ उठाने की अनुमति मिलती है, जिससे OCR प्रदर्शन में सुधार होता है। हालाँकि, इसकी कमी भी उतनी ही स्पष्ट है: जैसे-जैसे आउटपुट अनुक्रम लंबा होता है, संचित KV cache मेमोरी खपत को बढ़ाता है और धीरे-धीरे जनरेशन को धीमा कर देता है। यह इंसानों के बिल्कुल विपरीत है, जो लंबे समय तक चलने वाले कॉपी कार्यों के दौरान दक्षता में ऐसी कोई गिरावट प्रदर्शित नहीं करते हैं। इस तकनीकी रिपोर्ट में, हम Unlimited OCR का प्रस्ताव करते हैं, जो मानव पार्सिंग वर्किंग मेमोरी का अनुकरण करने के लिए डिज़ाइन किया गया एक मॉडल है। DeepSeek OCR को आधार रेखा मानकर, हम डिकोडर में सभी अटेंशन लेयर्स को हमारे प्रस्तावित Reference Sliding Window Attention (R-SWA) से बदल देते हैं, जो संपूर्ण डिकोडिंग प्रक्रिया के दौरान एक स्थिर KV cache बनाए रखते हुए अटेंशन गणना लागत को कम करता है। DeepSeek OCR के एन्कोडर की उच्च संपीड़न दर को हमारे स्थिर KV cache डिज़ाइन के साथ जोड़कर, Unlimited OCR 32K की मानक अधिकतम लंबाई के तहत एकल फ़ॉरवर्ड पास में दर्जनों पृष्ठों के दस्तावेज़ों को ट्रांसक्राइब कर सकता है। इससे भी महत्वपूर्ण बात यह है कि R-SWA एक सामान्य-उद्देश्यीय पार्सिंग अटेंशन तंत्र है - OCR से परे, यह ASR, अनुवाद आदि जैसे कार्यों के लिए भी समान रूप से लागू होता है। कोड और मॉडल वेट्स http://github.com/baidu/Unlimited-OCR पर सार्वजनिक रूप से उपलब्ध हैं।

मूल सार (अंग्रेज़ी)

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR's encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism - beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR.

पढ़ने की गाइड

समस्या और प्रेरणा

इंसान गति खोए बिना सैकड़ों पन्नों को लगातार ट्रांसक्राइब कर सकते हैं या घंटों के ऑडियो का अनुवाद कर सकते हैं, क्योंकि वे वर्किंग मेमोरी का उपयोग स्थानीय संदर्भ को ट्रैक करने के लिए करते हैं जबकि मूल स्रोत सामग्री सुलभ बनी रहती है। इसके विपरीत, वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) और डेंस OCR सिस्टम लंबे समय तक चलने वाले पार्सिंग के साथ संघर्ष करते हैं। मौजूदा सिस्टम आमतौर पर बहु-पृष्ठ दस्तावेज़ों को पृष्ठ-दर-पृष्ठ for-loop तरीके से प्रोसेस करते हैं जो हर चरण में मेमोरी को रीसेट करता है, जिससे सच्चे निरंतर प्रसंस्करण के बजाय एक इंजीनियरिंग समाधान (workaround) तैयार होता है।

जब एंड-टू-एंड मॉडल लंबे डिकोडिंग अनुक्रमों का प्रयास करते हैं, तो मानक मल्टी-हेड अटेंशन (MHA) आउटपुट लंबाई $T$ के साथ लीनियर रूप से की-वैल्यू (KV) कैश जमा करता है। इससे GPU मेमोरी की खपत लगातार बढ़ती है और लेटेंसी खराब होती है। आवर्तक अपडेट (recurrent updates) वाले लीनियर अटेंशन मॉडल भी विफल हो जाते हैं क्योंकि आवर्तक स्थिति अपडेट धीरे-धीरे विज़ुअल संदर्भ सुविधाओं को धुंधला कर देते हैं।

मुख्य विचार

Reference Sliding Window Attention (R-SWA): जनरेट किए गए टोकन सभी स्थिर प्रीफिक्स संदर्भ टोकन (विज़ुअल प्रतिनिधित्व और निर्देश) पर ग्लोबली अटेंड करते हैं, जबकि स्थानीय रूप से केवल पिछले $n$ आउटपुट टोकन ( $n = 128$ डिफ़ॉल्ट रूप से) पर अटेंड करते हैं।
स्थिर डिकोडिंग KV Cache: FIFO कतार के माध्यम से जनरेशन बफ़र में $n$ से पुराने टोकन को हटाकर, डिकोडिंग कैश फ़ुटप्रिंट सख्ती से $L_{m} + n$ तक सीमित होता है, जिससे प्रति-चरण स्थिर लेटेंसी और स्थिर GPU मेमोरी उपयोग सुनिश्चित होता है।
उच्च-संपीड़न विज़ुअल प्रीफिक्स: DeepSeek OCR के DeepEncoder (जो $1024 \times 1024$ छवि को $16 \times$ घटाकर 256 टोकन में संपीड़ित करता है) के साथ मिलकर, मानक संदर्भ सीमाओं को पार किए बिना दर्जनों पृष्ठों को एकल पास में प्रीफ़िल किया जा सकता है।

विधि

Unlimited OCR, DeepSeek OCR बेसलाइन पर आधारित है, जो 3B-पैरामीटर मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) LLM डिकोडर (500M मापदंडों को सक्रिय करते हुए) के साथ जुड़े इसके फ्रोजन DeepEncoder (कैस्केडिंग SAM-ViT और CLIP-ViT) को बरकरार रखता है। डिकोडर में सभी मानक MHA लेयर्स को R-SWA से बदल दिया गया है।

गणितीय सूत्रीकरण

डिकोडिंग चरण $t$ पर जनरेट किए गए टोकन के लिए, सुलभ अटेंशन सेट $N (t)$ में दो खंड शामिल हैं:

$N (t) = P \cup D_{n} (t)$

जहाँ $P = {1, \dots, L_{m}}$ लंबाई $L_{m}$ का स्थिर प्रीफिक्स खंड है, और $D_{n} (t)$ जनरेट किए गए टोकन पर कॉज़ल स्लाइडिंग विंडो है:

$D_{n} (t) = {j ∣ max (L_{m} + 1, L_{m} + t - n) \leq j \leq L_{m} + t - 1}$

टोकन $t$ से स्थिति $j \in N (t)$ तक का अटेंशन वेट $α_{t j}$ है:

$α_{t j} = \frac{exp ( \frac{q _{t}^{⊤} k _{j}}{d _{k}} )}{\sum _{i \in N (t)} exp ( \frac{q _{t}^{⊤} k _{i}}{d _{k}} )}, j \in N (t)$

आउटपुट प्रतिनिधित्व को सुलभ सेट पर एकत्रित किया जाता है:

$o_{t} = j \in N (t) \sum α_{t j} v_{j}$

KV Cache स्केलिंग

जबकि मानक MHA डिकोड लंबाई $T$ ( $C_{MHA} (T) = L_{m} + T$ ) के साथ लीनियर रूप से स्केल करता है, R-SWA कैश क्षमता को सीमित करता है:

$C_{R-SWA} (T) = L_{m} + min (n, T) \leq L_{m} + n$

जब डिकोडिंग हावी होती है ( $T ≫ n$ और $T ≫ L_{m}$ ), सापेक्ष कैश अनुपात शून्य की ओर अग्रसर होता है:

$ρ (T) = \frac{L _{m} + n}{L _{m} + T} \approx \frac{L _{m} + n}{T} \to 0$

परिणाम

OmniDocBench v1.5: Unlimited OCR 93.23% का समग्र स्कोर प्राप्त करता है (87.01% पर DeepSeek OCR की तुलना में 6.22% का पूर्ण लाभ), टेक्स्ट एडिट डिस्टेंस को 0.073 से घटाकर 0.038 करता है और टेबल TEDS को 84.97% से बढ़ाकर 90.93% करता है।
OmniDocBench v1.6: समग्र रूप से 93.92% प्राप्त करता है, जो Qianfan-OCR (93.90%) और FireRed-OCR (93.26%) जैसे समकालीन एंड-टू-एंड मॉडल के बराबर या उससे बेहतर प्रदर्शन करता है।
इनफ़्रेंस गति: OmniDocBench परीक्षणों में, Unlimited OCR DeepSeek OCR के 4,951 TPS की तुलना में 5,580 TPS प्रदान करता है (12.7% की गति वृद्धि)। 6,144 जनरेट किए गए टोकन पर सैद्धांतिक अधिकतम समवर्तीता के तहत, Unlimited OCR 7,847.71 TPS तक पहुँच जाता है जबकि DeepSeek OCR गिरकर 5,822.87 TPS पर आ जाता है (35% प्रदर्शन अंतर)।
मल्टी-पेज लॉन्ग-हॉरिजॉन OCR: बहु-पृष्ठ पुस्तकों पर मूल्यांकन किए जाने पर, Unlimited OCR 2 पृष्ठों पर 0.0362, 20 पृष्ठों पर 0.0572 और 40+ पृष्ठों पर 0.1069 का एडिट डिस्टेंस प्राप्त करता है (96.90% Distinct-35 बनाए रखते हुए)।

सीमाएं और खुले प्रश्न

प्रीफ़िल अड़चन (Bottleneck): वर्तमान मॉडल अभी भी अधिकतम इनपुट संदर्भ लंबाई (32K टोकन) द्वारा सीमित है। यद्यपि DeepEncoder एक एकल पृष्ठ को 256 टोकन में संपीड़ित करता है, फिर भी सैकड़ों पृष्ठ महत्वपूर्ण प्रीफ़िल मेमोरी लेते हैं।
छोटे टेक्स्ट का क्षरण: बहु-पृष्ठ सेटिंग्स में, DeepEncoder के 1024×1024 बेस मोड का उपयोग अटेंशन विंडो के नुकसान के बजाय रिज़ॉल्यूशन सीमाओं के कारण छोटे फ़ॉन्ट आकारों पर पहचान त्रुटियों का कारण बनता है।
बाहरी प्रीफ़िल पूल: भविष्य का कार्य 128K संदर्भ पर प्रशिक्षण और एक स्वायत्त डायनेमिक प्रीफ़िल KV फेचिंग तंत्र बनाने की खोज करता है जो पन्ने पलटने की नकल करता है।

मुख्य शब्द

Reference Sliding Window Attention (R-SWA): एक अटेंशन तंत्र जहां प्रत्येक डिकोडिंग टोकन सभी स्थिर प्रीफिक्स/विज़ुअल टोकन पर ग्लोबली और पिछले $n$ जनरेट किए गए टोकन पर स्थानीय रूप से अटेंड करता है।
DeepEncoder: SAM-ViT और CLIP-ViT को कैस्केड करने वाला एक विज़ुअल एन्कोडर जो 16x टोकन संपीड़न दर प्राप्त करता है, जिससे 1024x1024 छवि 256 विज़ुअल टोकन में संपीड़ित हो जाती है।
Constant KV Cache: FIFO निष्कासन कतार का उपयोग करके $L_{m} + n$ टोकन पर सीमित एक डिकोडिंग कैश संरचना, जो GPU मेमोरी और प्रति-चरण लेटेंसी को स्थिर रखती है।
Long-horizon Parsing: एकल निर्बाध फ़ॉरवर्ड पास के भीतर बहु-पृष्ठ दस्तावेज़ों (उदा., 20 से 40+ पृष्ठों) को लगातार ट्रांसक्राइब या पार्स करना।
OmniDocBench: एक बहुआयामी दस्तावेज़ पार्सिंग बेंचमार्क जो टेक्स्ट एडिट डिस्टेंस, फ़ॉर्मूला CDM, टेबल संरचना (TEDS) और पढ़ने के क्रम का मूल्यांकन करता है।
Flash Attention v3 Kernel Latency: डिकोडिंग के दौरान प्रति-चरण कर्नेल अवधि, जो मानक MHA में लीनियर रूप से बढ़ती है लेकिन R-SWA के तहत स्थिर रहती है।
Distinct-n: एक विविधता मीट्रिक जिसे जनरेशन के दौरान मतिभ्रम (hallucination) या दोहरावदार लूप्स को मापने के लिए कुल n-ग्राम के लिए अद्वितीय n-ग्राम के अनुपात के रूप में परिभाषित किया गया है।

प्रश्न

Unlimited OCR में डिफ़ॉल्ट स्लाइडिंग विंडो चौड़ाई $n$ क्या है?

कॉज़ल डिकोडिंग विंडो $n$ डिफ़ॉल्ट रूप से 128 टोकन है, जो प्रगति और पृष्ठ के भीतर निरंतरता को ट्रैक करने के लिए पर्याप्त है।

R-SWA वैनिला Sliding Window Attention (SWA) से किस प्रकार भिन्न है?

वैनिला SWA सभी टोकन पर एक स्थानीय विंडो लागू करता है, जो विज़ुअल संदर्भ टोकन को हटा देगा या धीरे-धीरे धुंधला कर देगा। R-SWA केवल जनरेट किए गए टेक्स्ट पर स्लाइड करते हुए बिना किसी स्टेट ट्रांज़िशन के सभी विज़ुअल/प्रीफिक्स टोकन को विश्व स्तर पर सुलभ रखता है।

इनफ़्रेंस के दौरान कितने पैरामीटर सक्रिय होते हैं?

Unlimited OCR केवल 500M सक्रिय मापदंडों के साथ 3B कुल पैरामीटर MoE आर्किटेक्चर का उपयोग करता है।

आउटपुट की लंबाई बढ़ने पर DeepSeek OCR धीमा क्यों हो जाता है जबकि Unlimited OCR नहीं?

DeepSeek OCR मानक MHA पर निर्भर करता है जहां KV कैश का आकार अनुक्रम की लंबाई के साथ बढ़ता है, जिससे अटेंशन गणना और मेमोरी ओवरहेड बढ़ जाता है। Unlimited OCR प्रति चरण एक समान लेटेंसी को बनाए रखते हुए $L_{m} + n$ का एक स्थिर KV कैश बनाए रखता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें