Unlimited OCR Works

Youyang Yin; Huanhuan Liu; YY; Qunyi Xie; Chaorun Liu; Shiqi Yang; Shaohua Wang; Zhanlong Liu; Hao Zou; Jinyue Chen; Shu Wei; Jingjing Wu; Mingxin Huang; Zhen Wu; Guibin Wang; Tengyu Du; Lei Jia

Unlimited OCR Works

Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu et al.

تاريخ النشر 2026-06-22cs.CVcs.CL arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعاني فواك ترميز OCR القائمة على نماذج LLM القياسية من نمو خطي في ذاكرة KV cache وتراجع في السرعة أثناء نسخ المستندات متعددة الصفحات ذات المدى الطويل.
🔧 يعتمد النموذج آلية Reference Sliding Window Attention (R-SWA)، حيث تنتبه الرموز المولدة شمولياً لجميع رموز البادئة/المرئية مع الاحتفاظ فقط بنافذة سببية ثابتة من المخرجات الأخيرة ( $n = 128$ ).
📈 يحقق دقة إجمالية قدرها 93.23% على OmniDocBench v1.5 (+6.22% مقارنة بـ DeepSeek OCR) ويحافظ على زمن استجابة ثابت للتوليد عبر المخرجات الطويلة.

الملخص

في الآونة الأخيرة، أعادت نماذج OCR الشاملة (end-to-end)، وعلى رأسها DeepSeek OCR، تسليط الضوء بقوة على مجال OCR. ويسود رأي مفاده أن استخدام نموذج لغوي كبير (LLM) كفاك للترميز يتيح للنموذج الاستفادة من التوزيع المسبق للغة، مما يؤدي إلى تحسين أداء OCR. ومع ذلك، فإن الجانب السلبي جلي تماماً: فكلما طال تسلسل المخرجات، أدى تراكم ذاكرة KV cache إلى زيادة استهلاك الذاكرة وإبطاء سرعة التوليد تدريجياً. ويتناقض هذا بوضوح مع البشر الذين لا يُظهرون مثل هذا التراجع في الكفاءة أثناء مهام النسخ الطويلة. في هذا التقرير التقني، نقترح Unlimited OCR، وهو نموذج مصمم لمحاكاة الذاكرة العاملة للتحليل لدى البشر. بالاعتماد على DeepSeek OCR كنموذج أساس، نستبدل جميع طبقات الانتباه في فاك الترميز بآلية Reference Sliding Window Attention (R-SWA) المقترحة، والتي تقلل تكاليف حساب الانتباه مع الحفاظ على حجم ثابت لذاكرة KV cache طوال عملية فك الترميز بأكملها. ومن خلال الجمع بين معدل الضغط العالي لمشفر DeepSeek OCR وتصميمنا لـ KV cache الثابت، يمكن لـ Unlimited OCR نسخ عشرات الصفحات من المستندات في تمريرة أمامية واحدة ضمن الحد الأقصى القياسي للطول البالغ 32K. والأهم من ذلك، تعد R-SWA آلية انتباه تحليلية عامة الغرض؛ فإلى جانب OCR، يمكن تطبيقها بنفس القدر على مهام مثل ASR، والترجمة، وغيرها. الأكواد وأوزان النماذج متاحة للجمهور عبر الرابط: http://github.com/baidu/Unlimited-OCR.

الملخص الأصلي (بالإنجليزية)

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR's encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism - beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR.

دليل القراءة

المشكلة والدافع

يستطيع البشر نسخ مئات الصفحات أو ترجمة ساعات من التسجيلات الصوتية بشكل مستمر دون فقدان السرعة، معتمدين على الذاكرة العاملة لتتبع السياق المحلي مع بقاء المادة المصدر الأصلية متاحة دائماً. في المقابل، تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية وأنظمة OCR الكثيفة صعوبة في التحليل طويل المدى. وتعالج الأنظمة الحالية عادةً المستندات متعددة الصفحات بأسلوب حلقة التكرار for-loop صفحة تلو الأخرى، مما يعيد ضبط الذاكرة عند كل خطوة، وهو ما يمثل حلاً هندسياً التفافياً بدلاً من كونه معالجة مستمرة حقيقية.

عندما تحاول النماذج الشاملة فك ترميز تسلسلات طويلة، يؤدي الانتباه متعدد الرؤوس (MHA) القياسي إلى تجميع ذاكرة المفتاح والقيمة (KV) بشكل خطي مع طول المخرجات $T$ . وينتج عن ذلك زيادة تدريجية في استهلاك ذاكرة وحدة معالجة الرسوميات (GPU) وتدهور في زمن الاستجابة. كما تفشل نماذج الانتباه الخطي ذات التحديثات المتكررة (recurrent) لأن تحديثات الحالة المتكررة تؤدي تدريجياً إلى طمس معالم المرجع المرئي.

الأفكار الرئيسية

Reference Sliding Window Attention (R-SWA): تنتبه الرموز المولدة بشكل شامل (global) لجميع رموز المرجع الثابتة في البادئة (التمثيلات المرئية والتعليمات)، بينما تنتبه محلياً فقط إلى آخر $n$ من الرموز الناتجة السابقة ( $n = 128$ افتراضياً).
ذاكرة فك ترميز KV ثابتة (Constant Decoding KV Cache): من خلال إخراج الرموز الأقدم من $n$ من مخزن التوليد المؤقت عبر طابور الوارد أولاً يُصرف أولاً (FIFO)، يتم حصر حجم ذاكرة التخزين المؤقت لفك الترميز بحد أقصى هو $L_{m} + n$ ، مما يضمن ثبات زمن الاستجابة لكل خطوة وثبات استهلاك ذاكرة GPU.
بادئة مرئية عالية الضغط: مقترناً بمشفر DeepEncoder من DeepSeek OCR (الذي يضغط صورة بحجم $1024 \times 1024$ بمعدل $16 \times$ لتصل إلى 256 رمزاً فقط)، يمكن التجهيز المسبق لعشرات الصفحات في تمريرة واحدة دون تجاوز حدود السياق القياسية.

الطريقة

يستند Unlimited OCR إلى الأساس DeepSeek OCR، محتفظاً بمشفر DeepEncoder المجمد (المكوّن من SAM-ViT وCLIP-ViT المتعاقبين) مع فاك ترميز LLM قائم على بنية خليط الخبراء (MoE) بحجم 3B معامل (يُفعل 500M معامل). ويتم استبدال جميع طبقات MHA القياسية في فاك الترميز بآلية R-SWA.

الصياغة الرياضية

بالنسبة للرمز المولد عند خطوة فك الترميز $t$ ، تتكون مجموعة الانتباه المتاحة $N (t)$ من شريحتين:

$N (t) = P \cup D_{n} (t)$

حيث $P = {1, \dots, L_{m}}$ تمثل شريحة البادئة الثابتة بطول $L_{m}$ ، و $D_{n} (t)$ هي النافذة السببية المنزلقة عبر الرموز المولدة:

$D_{n} (t) = {j ∣ max (L_{m} + 1, L_{m} + t - n) \leq j \leq L_{m} + t - 1}$

يُحسب وزن الانتباه $α_{t j}$ من الرمز $t$ إلى الموضع $j \in N (t)$ كالتالي:

$α_{t j} = \frac{exp ( \frac{q _{t}^{⊤} k _{j}}{d _{k}} )}{\sum _{i \in N (t)} exp ( \frac{q _{t}^{⊤} k _{i}}{d _{k}} )}, j \in N (t)$

ويتم تجميع تمثيل المخرجات عبر المجموعة المتاحة:

$o_{t} = j \in N (t) \sum α_{t j} v_{j}$

قابلية توسع ذاكرة KV Cache

بينما يتوسع MHA القياسي خطياً مع طول فك الترميز $T$ ( $C_{MHA} (T) = L_{m} + T$ )، يضع R-SWA حداً لسعة ذاكرة التخزين المؤقت:

$C_{R-SWA} (T) = L_{m} + min (n, T) \leq L_{m} + n$

عندما تصبح عملية فك الترميز هي المهيمنة ( $T ≫ n$ و $T ≫ L_{m}$ )، تقترب نسبة التخزين المؤقت النسبية من الصفر:

$ρ (T) = \frac{L _{m} + n}{L _{m} + T} \approx \frac{L _{m} + n}{T} \to 0$

النتائج

OmniDocBench v1.5: حقق Unlimited OCR نتيجة إجمالية بلغت 93.23% (بزيادة مطلقة قدرها 6.22% عن DeepSeek OCR البالغ 87.01%)، مما خفّض Text Edit Distance من 0.073 إلى 0.038 ورفع Table TEDS من 84.97% إلى 90.93%.
OmniDocBench v1.6: حقق 93.92% إجمالياً، ليعادل النماذج الشاملة المعاصرة مثل Qianfan-OCR (93.90%) وFireRed-OCR (93.26%) أو يتفوق عليها.
سرعة الاستدلال: في اختبارات OmniDocBench، وفّر Unlimited OCR سرعة 5,580 TPS مقارنة بـ 4,951 TPS لـ DeepSeek OCR (تسريع بنسبة 12.7%). وعند أقصى تزامن نظري مع 6,144 رمزاً مولداً، وصل Unlimited OCR إلى 7,847.71 TPS في حين انخفض DeepSeek OCR إلى 5,822.87 TPS (فارق في الأداء بنسبة 35%).
OCR طويل المدى متعدد الصفحات: عند التقييم على كتب متعددة الصفحات، حقق Unlimited OCR مسافة تحرير بلغت 0.0362 على صفحتين، و0.0572 على 20 صفحة، و0.1069 على أكثر من 40 صفحة (محتفظاً بنسبة 96.90% في Distinct-35).

القيود والمسائل المفتوحة

عنق زجاجة التجهيز المسبق (Prefill): لا يزال النموذج الحالي مقيداً بأقصى طول لسياق الإدخال (32K رمز). على الرغم من أن DeepEncoder يضغط الصفحة الواحدة إلى 256 رمزاً، إلا أن مئات الصفحات لا تزال تستهلك قدراً كبيراً من ذاكرة التجهيز المسبق.
تراجع دقة النصوص الصغيرة: في إعدادات الصفحات المتعددة، يؤدي استخدام وضع Base بحجم 1024×1024 في DeepEncoder إلى حدوث أخطاء في التعرف على أحجام الخطوط الدقيقة جداً بسبب حدود دقة الصورة وليس بسبب فقدان نافذة الانتباه.
حوض التجهيز المسبق الخارجي (External Prefill Pool): يستكشف العمل المستقبلي التدريب على سياق يصل إلى 128K وبناء آلية مستقلة لجلب KV للتجهيز المسبق ديناميكياً تحاكي تقليب الصفحات.

المصطلحات الرئيسية

Reference Sliding Window Attention (R-SWA): آلية انتباه ينتبه فيها كل رمز قيد فك الترميز شمولياً لجميع رموز البادئة/المرئية الثابتة، ومحلياً لآخر $n$ من الرموز المولدة السابقة.
DeepEncoder: مشفر مرئي يجمع بين SAM-ViT وCLIP-ViT بتسلسل تعاقبي لتحقيق معدل ضغط رموز يبلغ 16 ضعفاً، ضاغطاً صورة بدقة 1024x1024 إلى 256 رمزاً مرئياً.
Constant KV Cache: هيكل لذاكرة التخزين المؤقت لفك الترميز محدد بسقف قدره $L_{m} + n$ من الرموز باستخدام طابور إخراج FIFO، مما يحافظ على ثبات استهلاك ذاكرة GPU وزمن الاستجابة لكل خطوة.
Long-horizon Parsing: النسخ أو التحليل المستمر للمستندات متعددة الصفحات (مثل 20 إلى أكثر من 40 صفحة) ضمن تمريرة أمامية واحدة دون انقطاع.
OmniDocBench: معيار متعدد الجوانب لتقييم تحليل المستندات يقيس مسافة تحرير النصوص، ومطابقة المعادلات CDM، وبنية الجداول (TEDS)، وترتيب القراءة.
Flash Attention v3 Kernel Latency: الزمن المستغرق لتنفيذ النواة البرمجية لكل خطوة أثناء فك الترميز، والذي يزداد خطياً في MHA القياسي ولكنه يظل ثابتاً في ظل R-SWA.
Distinct-n: مقياس للتنوع يُعرّف على أنه نسبة الـ n-grams الفريدة إلى إجمالي الـ n-grams، ويُستخدم لقياس الهلوسة أو حلقات التكرار أثناء التوليد.

أسئلة شائعة

ما هو العرض الافتراضي للنافذة المنزلقة $n$ في Unlimited OCR؟

تبلغ النافذة السببية لفك الترميز $n$ افتراضياً 128 رمزاً، وهو ما يكفي لتتبع التقدم واستمرارية السياق داخل الصفحة.

كيف يختلف R-SWA عن انتباه النافذة المنزلقة التقليدي (SWA)؟

يطبق SWA التقليدي نافذة محلية عبر كافة الرموز، مما يؤدي إلى تجاهل الرموز المرجعية المرئية أو طمسها تدريجياً. في المقابل، يُبقي R-SWA جميع الرموز المرئية/البادئة متاحة بالكامل دون انتقال في الحالة، بينما تنزلق النافذة فقط عبر النص المولد.

كم عدد المعاملات التي يتم تفعيلها أثناء الاستدلال؟

يستخدم Unlimited OCR بنية MoE بإجمالي 3 مليارات معامل، ويُفعل 500 مليون معامل فقط أثناء الاستدلال.

لماذا يتباطأ DeepSeek OCR مع زيادة طول المخرجات بينما لا يحدث ذلك في Unlimited OCR؟

يعتمد DeepSeek OCR على MHA القياسي حيث ينمو حجم ذاكرة KV cache مع طول التسلسل، مما يزيد من أعباء حسابات الانتباه واستهلاك الذاكرة. أما Unlimited OCR فيحافظ على حجم ثابت لـ KV cache قدره $L_{m} + n$ ، مما يضمن ثبات زمن الاستجابة لكل خطوة.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي