Unlimited OCR Works

Youyang Yin; Huanhuan Liu; YY; Qunyi Xie; Chaorun Liu; Shiqi Yang; Shaohua Wang; Zhanlong Liu; Hao Zou; Jinyue Chen; Shu Wei; Jingjing Wu; Mingxin Huang; Zhen Wu; Guibin Wang; Tengyu Du; Lei Jia

Makaleler · arXiv 2606.23050

Unlimited OCR Works

Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu et al.

Yayımlanma 2026-06-22cs.CVcs.CL arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Standart LLM tabanlı OCR kod çözücüleri, uzun ufuklu ve çok sayfalı belge transkripsiyonu sırasında doğrusal KV önbellek büyümesinden ve azalan hızdan muzdariptir.
🔧 Kod çözme belirteçlerinin tüm önek/görsel belirteçlere küresel olarak dikkat gösterdiği, ancak yalnızca son çıktıların sabit bir nedensel penceresini ( $n = 128$ ) sakladığı Reference Sliding Window Attention (R-SWA) mekanizmasını kullanır.
📈 OmniDocBench v1.5 genelinde %93,23 başarı elde eder (DeepSeek OCR'a kıyasla +%6,22) ve uzun çıktılarda sabit üretim gecikmesini korur.

Özet

Son zamanlarda, DeepSeek OCR örneğinde olduğu gibi uçtan uca OCR modelleri, OCR alanını yeniden ilgi odağı haline getirdi. Yaygın bir görüşe göre, kod çözücü (decoder) olarak bir büyük dil modelinin (LLM) kullanılması, modelin dilin öncül dağılımından yararlanmasını sağlayarak OCR performansını artırmaktadır. Ancak bu durumun olumsuz yanı da oldukça belirgindir: çıktı dizisi uzadıkça, biriken KV önbelleği bellek tüketimini artırır ve üretim hızını kademeli olarak yavaşlatır. Bu durum, uzun ufuklu kopyalama görevleri sırasında verimlilikte hiçbir düşüş göstermeyen insanlarla tam bir tezat oluşturur. Bu teknik raporda, insanların ayrıştırma çalışma belleğini taklit etmek üzere tasarlanmış bir model olan Unlimited OCR'ı öneriyoruz. DeepSeek OCR'ı temel alarak, kod çözücüdeki tüm dikkat katmanlarını önerdiğimiz Reference Sliding Window Attention (R-SWA) ile değiştiriyoruz; bu mekanizma dikkat hesaplama maliyetlerini azaltırken tüm kod çözme süreci boyunca sabit bir KV önbelleği sağlar. DeepSeek OCR kodlayıcısının (encoder) yüksek sıkıştırma oranı ile sabit KV önbelleği tasarımımızı birleştiren Unlimited OCR, 32K standart maksimum uzunluk altında onlarca sayfalık belgeyi tek bir ileri geçişte transkribe edebilir. Daha da önemlisi, R-SWA genel amaçlı bir ayrıştırma dikkat mekanizmasıdır; OCR'ın ötesinde ASR, çeviri vb. görevlere de aynı şekilde uygulanabilir. Kodlar ve model ağırlıkları http://github.com/baidu/Unlimited-OCR adresinde herkese açık olarak paylaşılmıştır.

Orijinal özet (İngilizce)

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR's encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism - beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR.

Okuma rehberi

Problem ve motivasyon

İnsanlar, kaynak materyale erişimi korurken yerel bağlamı takip etmek için çalışma belleğini kullanarak hız kaybetmeden yüzlerce sayfayı kesintisiz transkribe edebilir veya saatlerce süren ses kayıtlarını çevirebilir. Buna karşılık, mevcut çok modlu büyük dil modelleri (MLLM'ler) ve yoğun OCR sistemleri uzun ufuklu ayrıştırmada zorlanır. Mevcut sistemler genellikle çok sayfalı belgeleri her adımda belleği sıfırlayan sayfa sayfa bir for-loop döngüsü içinde işler; bu da gerçek bir sürekli işleme yerine mühendislik odaklı geçici bir çözüm yaratır.

Uçtan uca modeller uzun kod çözme dizileri denediğinde, standart çok başlı dikkat (MHA), anahtar-değer (KV) önbelleğini çıktı uzunluğu $T$ ile doğrusal olarak biriktirir. Bu durum, giderek artan GPU bellek tüketimine ve gecikme süresinin kötüleşmesine yol açar. Tekrarlayan güncellemelere sahip doğrusal dikkat modelleri de başarısız olur çünkü tekrarlayan durum güncellemeleri görsel referans özniteliklerini kademeli olarak bulanıklaştırır.

Temel fikirler

Reference Sliding Window Attention (R-SWA): Üretilen belirteçler (tokens), tüm statik önek referans belirteçlerine (görsel temsiller ve talimatlar) küresel olarak dikkat gösterirken, yalnızca önceki $n$ çıktı belirtecine yerel olarak dikkat eder (varsayılan olarak $n = 128$ ).
Sabit Kod Çözme KV Önbelleği (Constant Decoding KV Cache): Üretim tamponunda $n$ 'den daha eski belirteçler bir FIFO kuyruğu aracılığıyla tahliye edilerek kod çözme önbellek boyutu $L_{m} + n$ ile kesin bir şekilde sınırlandırılır, böylece adım başına sabit gecikme ve sabit GPU belleği kullanımı sağlanır.
Yüksek Sıkıştırmalı Görsel Önek (High-Compression Visual Prefix): DeepSeek OCR'ın DeepEncoder'ı ( $1024 \times 1024$ boyutundaki bir görüntüyü $16 \times$ sıkıştırarak 256 belirtece indirir) ile eşleştirildiğinde, standart bağlam sınırlarını aşmadan onlarca sayfa tek bir geçişte önceden doldurulabilir (prefill).

Yöntem

Unlimited OCR, DeepSeek OCR temel mimarisi üzerine inşa edilmiştir; dondurulmuş DeepEncoder (basamaklı SAM-ViT ve CLIP-ViT) ile eşleştirilmiş 3B parametreli bir Mixture-of-Experts (MoE) LLM kod çözücüsünü (500M parametre aktifleştirir) korur. Kod çözücüdeki tüm standart MHA katmanları R-SWA ile değiştirilmiştir.

Matematiksel Formülasyon

Kod çözme adımı $t$ 'deki üretilen bir belirteç için erişilebilir dikkat kümesi $N (t)$ iki bölümden oluşur:

$N (t) = P \cup D_{n} (t)$

burada $P = {1, \dots, L_{m}}$ , $L_{m}$ uzunluğundaki statik önek segmentidir ve $D_{n} (t)$ , üretilen belirteçler üzerindeki nedensel kayan penceredir:

$D_{n} (t) = {j ∣ max (L_{m} + 1, L_{m} + t - n) \leq j \leq L_{m} + t - 1}$

$t$ belirtecinden $j \in N (t)$ konumuna giden dikkat ağırlığı $α_{t j}$ şu şekildedir:

$α_{t j} = \frac{exp ( \frac{q _{t}^{⊤} k _{j}}{d _{k}} )}{\sum _{i \in N (t)} exp ( \frac{q _{t}^{⊤} k _{i}}{d _{k}} )}, j \in N (t)$

Çıktı temsili, erişilebilir küme üzerinden toplanır:

$o_{t} = j \in N (t) \sum α_{t j} v_{j}$

KV Önbellek Ölçeklemesi

Standart MHA, kod çözme uzunluğu $T$ ile doğrusal olarak ölçeklenirken ( $C_{MHA} (T) = L_{m} + T$ ), R-SWA önbellek kapasitesini sınırlar:

$C_{R-SWA} (T) = L_{m} + min (n, T) \leq L_{m} + n$

Kod çözme baskın olduğunda ( $T ≫ n$ ve $T ≫ L_{m}$ ), göreli önbellek oranı sıfıra yaklaşır:

$ρ (T) = \frac{L _{m} + n}{L _{m} + T} \approx \frac{L _{m} + n}{T} \to 0$

Sonuçlar

OmniDocBench v1.5: Unlimited OCR genel olarak %93,23'lük bir puan elde eder (%87,01 alan DeepSeek OCR'a göre mutlak %6,22'lik bir kazanç); Metin Düzenleme Mesafesini (Text Edit Distance) 0,073'ten 0,038'e düşürür ve Tablo TEDS oranını %84,97'den %90,93'e yükseltir.
OmniDocBench v1.6: Genel olarak %93,92 elde ederek Qianfan-OCR (%93,90) ve FireRed-OCR (%93,26) gibi güncel uçtan uca modellerle eşleşir veya onları geride bırakır.
Çıkarım Hızı (Inference Speed): OmniDocBench testlerinde Unlimited OCR, DeepSeek OCR'ın 4.951 TPS değerine kıyasla 5.580 TPS sunar (%12,7 hızlanma). 6.144 üretilen belirteçteki teorik maksimum eşzamanlılık altında Unlimited OCR 7.847,71 TPS'ye ulaşırken, DeepSeek OCR 5.822,87 TPS'ye düşer (%35'lik performans farkı).
Çok Sayfalı Uzun Ufuklu OCR: Çok sayfalı kitaplar üzerinde değerlendirildiğinde Unlimited OCR, 2 sayfada 0,0362, 20 sayfada 0,0572 ve 40+ sayfada 0,1069 Düzenleme Mesafesi elde eder (%96,90 Distinct-35 korunur).

Sınırlılıklar ve açık sorular

Prefill Darboğazı: Mevcut model halen maksimum girdi bağlam uzunluğu (32K belirteç) ile sınırlıdır. DeepEncoder tek bir sayfayı 256 belirtece sıkıştırsa da yüzlerce sayfa yine de önemli ölçüde ön doldurma (prefill) belleği kaplar.
Küçük Metin Bozulması: Çok sayfalı senaryolarda, DeepEncoder'ın 1024×1024 Base modunun kullanılması, dikkat penceresi kaybından ziyade çözünürlük sınırları nedeniyle çok küçük yazı tipi boyutlarında tanıma hatalarına neden olur.
Harici Prefill Havuzu: Gelecekteki çalışmalar, 128K bağlam üzerinde eğitime ve sayfaları çevirmeyi taklit eden otonom, dinamik bir prefill KV getirme mekanizması oluşturmaya odaklanmaktadır.

Temel terimler

Reference Sliding Window Attention (R-SWA): Her kod çözme belirtecinin tüm statik önek/görsel belirteçlere küresel olarak ve önceki $n$ üretilen belirtece yerel olarak dikkat ettiği bir dikkat mekanizması.
DeepEncoder: SAM-ViT ve CLIP-ViT'i basamaklı olarak kullanan ve 1024x1024 boyutundaki bir görüntüyü 256 görsel belirtece dönüştürerek 16 kat belirteç sıkıştırma oranı elde eden bir görsel kodlayıcı.
Constant KV Cache: Bir FIFO tahliye kuyruğu kullanarak $L_{m} + n$ belirteç ile sınırlandırılan, GPU belleğini ve adım başına gecikmeyi sabit tutan bir kod çözme önbellek yapısı.
Long-horizon Parsing: Çok sayfalı belgelerin (örneğin 20 ila 40+ sayfa) kesintisiz tek bir ileri geçiş içinde sürekli olarak transkribe edilmesi veya ayrıştırılması.
OmniDocBench: Metin düzenleme mesafesini, formül CDM'sini, tablo yapısını (TEDS) ve okuma sırasını değerlendiren çok yönlü bir belge ayrıştırma kıyaslama testi.
Flash Attention v3 Kernel Latency: Standart MHA'da doğrusal olarak artan ancak R-SWA altında sabit kalan, kod çözme sırasındaki adım başına çekirdek (kernel) çalışma süresi.
Distinct-n: Üretim sırasında halüsinasyonu veya tekrarlayan döngüleri ölçmek için kullanılan, benzersiz n-gram'ların toplam n-gram'lara oranı olarak tanımlanan bir çeşitlilik metriği.

Sorular

Unlimited OCR'da varsayılan kayan pencere genişliği $n$ nedir?

Nedensel kod çözme penceresi $n$ , varsayılan olarak 128 belirteçtir; bu değer ilerlemeyi ve sayfa içi sürekliliği izlemek için yeterlidir.

R-SWA'nın klasik Sliding Window Attention (SWA) mekanizmasından farkı nedir?

Klasik SWA, tüm belirteçlere yerel bir pencere uygular; bu da görsel referans belirteçlerinin atılmasına veya kademeli olarak bulanıklaşmasına neden olur. R-SWA ise yalnızca üretilen metin üzerinde kayarken, tüm görsel/önek belirteçlerini durum geçişleri olmaksızın küresel olarak erişilebilir tutar.

Çıkarım sırasında kaç parametre aktifleştirilir?

Unlimited OCR, çıkarım sırasında yalnızca 500M parametreyi etkinleştiren 3B toplam parametreli bir MoE mimarisi kullanır.

Unlimited OCR yavaşlamazken DeepSeek OCR çıktı uzunluğu arttıkça neden yavaşlar?

DeepSeek OCR, KV önbellek boyutunun dizi uzunluğuyla birlikte büyüdüğü, dikkat hesaplama ve bellek yükünü artıran standart MHA'ya dayanır. Unlimited OCR ise $L_{m} + n$ boyutunda sabit bir KV önbelleği tutarak adım başına sabit gecikme süresini korur.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku