Unlimited OCR Works

Youyang Yin; Huanhuan Liu; YY; Qunyi Xie; Chaorun Liu; Shiqi Yang; Shaohua Wang; Zhanlong Liu; Hao Zou; Jinyue Chen; Shu Wei; Jingjing Wu; Mingxin Huang; Zhen Wu; Guibin Wang; Tengyu Du; Lei Jia

Paper · arXiv 2606.23050

Unlimited OCR Works

Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu et al.

Veröffentlicht 2026-06-22cs.CVcs.CL arXiv PDF

Mit Übersetzung und KI lesen

Zusammenfassung in drei Zeilen

🎯 Standardmäßige LLM-basierte OCR-Decoder leiden unter linearem KV-Cache-Wachstum und sinkender Geschwindigkeit bei der Transkription langer, mehrseitiger Dokumente.
🔧 Verwendet Reference Sliding Window Attention (R-SWA), bei der Dekodierungs-Tokens global auf alle Präfix-/visuellen Tokens zugreifen, während sie nur ein konstantes kausales Fenster der jüngsten Ausgaben beibehalten ( $n = 128$ ).
📈 Erzielt 93,23 % Gesamtergebnis auf OmniDocBench v1.5 (+6,22 % gegenüber DeepSeek OCR) und behält eine konstante Generierungslatenz bei langen Ausgaben bei.

Abstract

In jüngster Zeit haben End-to-End-OCR-Modelle, beispielhaft vertreten durch DeepSeek OCR, die Texterkennung erneut in den Mittelpunkt des Interesses gerückt. Eine weit verbreitete Ansicht ist, dass der Einsatz eines großen Sprachmodells (LLM) als Decoder es dem Modell ermöglicht, die A-priori-Verteilung der Sprache zu nutzen, was zu einer verbesserten OCR-Leistung führt. Der Nachteil ist jedoch ebenso offensichtlich: Mit zunehmender Länge der Ausgabesequenz treibt der akkumulierte KV-Cache den Speicherverbrauch in die Höhe und verlangsamt die Generierung schrittweise. Dies steht in starkem Kontrast zum Menschen, der bei langwierigen Schreib- oder Kopieraufgaben keinen solchen Effizienzverlust aufweist. In diesem technischen Bericht stellen wir Unlimited OCR vor, ein Modell, das das menschliche Arbeitsgedächtnis beim Parsen nachbilden soll. Ausgehend von DeepSeek OCR als Baseline ersetzen wir alle Attention-Schichten im Decoder durch unsere vorgeschlagene Reference Sliding Window Attention (R-SWA), die den Rechenaufwand für die Attention reduziert und gleichzeitig einen konstanten KV-Cache über den gesamten Dekodierungsprozess hinweg aufrechterhält. Durch die Kombination der hohen Kompressionsrate des Encoders von DeepSeek OCR mit unserem Design eines konstanten KV-Caches kann Unlimited OCR Dutzende von Dokumentenseiten in einem einzigen Vorwärtsdurchlauf unter einer standardmäßigen Maximallänge von 32K transkribieren. Noch wichtiger ist, dass R-SWA ein universeller Attention-Mechanismus für Parsing-Aufgaben ist – über OCR hinaus ist er gleichermaßen auf Aufgaben wie ASR, Übersetzung usw. anwendbar. Code und Modellgewichte sind öffentlich unter http://github.com/baidu/Unlimited-OCR verfügbar.

Original-Abstract (Englisch)

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR's encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism - beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR.

Leseleitfaden

Problem und Motivation

Menschen können Hunderte von Seiten transkribieren oder stundenlange Audioaufnahmen kontinuierlich übersetzen, ohne an Geschwindigkeit zu verlieren, da sie ihr Arbeitsgedächtnis nutzen, um den lokalen Kontext zu verfolgen, während das ursprüngliche Ausgangsmaterial zugänglich bleibt. Im Gegensatz dazu haben aktuelle multimodale große Sprachmodelle (MLLMs) und dichte OCR-Systeme Schwierigkeiten beim Parsen über lange Horizonte. Bestehende Systeme verarbeiten mehrseitige Dokumente typischerweise in einer seitenweisen for-loop-Manier, die das Gedächtnis bei jedem Schritt zurücksetzt – was eher ein technischer Workaround als eine echte kontinuierliche Verarbeitung ist.

Wenn End-to-End-Modelle lange Dekodierungssequenzen verarbeiten, akkumuliert die standardmäßige Multi-Head Attention (MHA) den Key-Value- (KV-) Cache linear mit der Ausgabelänge $T$ . Dies führt zu einem kontinuierlich steigenden GPU-Speicherverbrauch und zu einer Degradation der Latenz. Lineare Attention-Modelle mit rekurrenten Aktualisierungen scheitern ebenfalls, da rekurrente Zustandsaktualisierungen die visuellen Referenzmerkmale schrittweise verwischen.

Kernideen

Reference Sliding Window Attention (R-SWA): Generierte Tokens beachten global alle statischen Präfix-Referenz-Tokens (visuelle Repräsentationen und Instruktionen), während sie lokal nur die vorhergehenden $n$ Ausgabe-Tokens beachten (standardmäßig $n = 128$ ).
Konstanter Dekodierungs-KV-Cache: Durch das Verwerfen von Tokens, die älter als $n$ sind, aus dem Generierungspuffer mittels einer FIFO-Warteschlange ist der Speicherbedarf des Dekodierungs-Caches strikt nach oben durch $L_{m} + n$ begrenzt, was eine konstante Latenz pro Schritt und einen konstanten GPU-Speicherverbrauch gewährleistet.
Hochkomprimiertes visuelles Präfix: Gepaart mit dem DeepEncoder aus DeepSeek OCR (der ein Bild der Größe $1024 \times 1024$ um den Faktor $16 \times$ auf 256 Tokens komprimiert) können Dutzende von Seiten in einem einzigen Durchlauf vorbefüllt werden (Prefill), ohne standardmäßige Kontextgrenzen zu überschreiten.

Methode

Unlimited OCR baut auf der Baseline von DeepSeek OCR auf und behält deren eingefrorenen DeepEncoder (eine Kaskadierung von SAM-ViT und CLIP-ViT) bei, kombiniert mit einem 3B-Parameter Mixture-of-Experts (MoE) LLM-Decoder (von dem 500M Parameter aktiviert werden). Alle Standard-MHA-Schichten im Decoder werden durch R-SWA ersetzt.

Mathematische Formulierung

Für ein generiertes Token beim Dekodierungsschritt $t$ umfasst die zugängliche Attention-Menge $N (t)$ zwei Segmente:

$N (t) = P \cup D_{n} (t)$

wobei $P = {1, \dots, L_{m}}$ das statische Präfixsegment der Länge $L_{m}$ ist und $D_{n} (t)$ das kausale gleitende Fenster über die generierten Tokens darstellt:

$D_{n} (t) = {j ∣ max (L_{m} + 1, L_{m} + t - n) \leq j \leq L_{m} + t - 1}$

Das Attention-Gewicht $α_{t j}$ von Token $t$ zu Position $j \in N (t)$ ist:

$α_{t j} = \frac{exp ( \frac{q _{t}^{⊤} k _{j}}{d _{k}} )}{\sum _{i \in N (t)} exp ( \frac{q _{t}^{⊤} k _{i}}{d _{k}} )}, j \in N (t)$

Die Ausgaberepräsentation wird über die zugängliche Menge aggregiert:

$o_{t} = j \in N (t) \sum α_{t j} v_{j}$

KV-Cache-Skalierung

Während Standard-MHA linear mit der Dekodierungslänge $T$ skaliert ( $C_{MHA} (T) = L_{m} + T$ ), begrenzt R-SWA die Cache-Kapazität:

$C_{R-SWA} (T) = L_{m} + min (n, T) \leq L_{m} + n$

Wenn das Dekodieren dominiert ( $T ≫ n$ und $T ≫ L_{m}$ ), nähert sich das relative Cache-Verhältnis null an:

$ρ (T) = \frac{L _{m} + n}{L _{m} + T} \approx \frac{L _{m} + n}{T} \to 0$

Ergebnisse

OmniDocBench v1.5: Unlimited OCR erzielt eine Gesamtpunktzahl von 93,23 % (ein absoluter Gewinn von 6,22 % gegenüber DeepSeek OCR mit 87,01 %), senkt die Text Edit Distance von 0,073 auf 0,038 und steigert Table TEDS von 84,97 % auf 90,93 %.
OmniDocBench v1.6: Erreicht 93,92 % insgesamt und erreicht damit das Niveau moderner End-to-End-Modelle wie Qianfan-OCR (93,90 %) und FireRed-OCR (93,26 %) oder übertrifft diese.
Inferenzgeschwindigkeit: In Tests auf OmniDocBench liefert Unlimited OCR 5.580 TPS im Vergleich zu 4.951 TPS bei DeepSeek OCR (eine Beschleunigung um 12,7 %). Unter theoretischer maximaler Nebenläufigkeit bei 6.144 generierten Tokens erreicht Unlimited OCR 7.847,71 TPS, während DeepSeek OCR auf 5.822,87 TPS abfällt (ein Leistungsunterschied von 35 %).
Mehrseitige Long-Horizon-OCR: Bei der Auswertung auf mehrseitigen Büchern erzielt Unlimited OCR eine Edit Distance von 0,0362 auf 2 Seiten, 0,0572 auf 20 Seiten und 0,1069 auf über 40 Seiten (bei Beibehaltung von 96,90 % Distinct-35).

Grenzen und offene Fragen

Prefill-Flaschenhals: Das aktuelle Modell ist nach wie vor durch die maximale Eingabe-Kontextlänge (32K Tokens) beschränkt. Obwohl DeepEncoder eine einzelne Seite auf 256 Tokens komprimiert, belegen Hunderte von Seiten immer noch erheblichen Prefill-Speicher.
Degradation bei kleiner Schrift: In mehrseitigen Szenarien führt die Verwendung des Base-Modus (1024×1024) von DeepEncoder zu Erkennungsfehlern bei sehr kleinen Schriftgrößen, was eher auf Auflösungsgrenzen als auf Verluste durch das Attention-Fenster zurückzuführen ist.
Externer Prefill-Pool: Zukünftige Arbeiten untersuchen das Training auf einem 128K-Kontext und die Schaffung eines autonomen, dynamischen Prefill-KV-Abrufmechanismus, der dem Umblättern von Seiten nachempfunden ist.

Schlüsselbegriffe

Reference Sliding Window Attention (R-SWA): Ein Attention-Mechanismus, bei dem jedes Dekodierungs-Token global auf alle statischen Präfix-/visuellen Tokens und lokal auf die vorangegangenen $n$ generierten Tokens zugreift.
DeepEncoder: Ein visueller Encoder, der SAM-ViT und CLIP-ViT kaskadiert und eine 16-fache Token-Kompressionsrate erzielt, indem er ein 1024x1024-Bild in 256 visuelle Tokens komprimiert.
Constant KV Cache: Eine Dekodierungs-Cache-Struktur, die mittels einer FIFO-Verwerfungswarteschlange auf $L_{m} + n$ Tokens begrenzt ist, wodurch der GPU-Speicherbedarf und die Latenz pro Schritt konstant bleiben.
Long-horizon Parsing: Die kontinuierliche Transkription oder das Parsing von mehrseitigen Dokumenten (z. B. 20 bis über 40 Seiten) in einem einzigen, ununterbrochenen Vorwärtsdurchlauf.
OmniDocBench: Ein vielschichtiger Benchmark für das Parsen von Dokumenten, der die Text Edit Distance, Formel-CDM, Tabellenstruktur (TEDS) und Lesereihenfolge evaluiert.
Flash Attention v3 Kernel Latency: Die Kernel-Ausführungsdauer pro Schritt während des Dekodierens, die bei Standard-MHA linear ansteigt, unter R-SWA jedoch konstant bleibt.
Distinct-n: Eine Diversitätsmetrik, definiert als das Verhältnis von eindeutigen n-Grammen zur Gesamtzahl der n-Gramme, um Halluzinationen oder Wiederholungsschleifen während der Generierung zu messen.

Fragen

Wie groß ist die standardmäßige Breite des gleitenden Fensters $n$ in Unlimited OCR?

Das kausale Dekodierungsfenster $n$ beträgt standardmäßig 128 Tokens, was ausreicht, um den Fortschritt und die Kontinuität innerhalb einer Seite zu verfolgen.

Wie unterscheidet sich R-SWA von herkömmlicher Sliding Window Attention (SWA)?

Herkömmliche SWA wendet ein lokales Fenster über alle Tokens an, was visuelle Referenz-Tokens verwerfen oder zunehmend verwischen würde. R-SWA hält alle visuellen/Präfix-Tokens ohne Zustandsübergänge global zugänglich, während das Fenster nur über den generierten Text gleitet.

Wie viele Parameter werden während der Inferenz aktiviert?

Unlimited OCR verwendet eine MoE-Architektur mit insgesamt 3B Parametern, von denen während der Inferenz nur 500M Parameter aktiviert werden.

Warum verlangsamt sich DeepSeek OCR mit zunehmender Ausgabelänge, während Unlimited OCR dies nicht tut?

DeepSeek OCR basiert auf Standard-MHA, bei dem die Größe des KV-Caches mit der Sequenzlänge wächst, was den Rechenaufwand für die Attention und den Speicher-Overhead erhöht. Unlimited OCR behält einen konstanten KV-Cache von $L_{m} + n$ bei, wodurch eine gleichbleibende Latenz pro Schritt gewährleistet wird.

Die Übersicht auf dieser Seite wurde von einer KI aus dem Paper erstellt und kann Fehler enthalten. Details stehen im Paper.

Mit Übersetzung und KI lesen