Unlimited OCR Works

Youyang Yin; Huanhuan Liu; YY; Qunyi Xie; Chaorun Liu; Shiqi Yang; Shaohua Wang; Zhanlong Liu; Hao Zou; Jinyue Chen; Shu Wei; Jingjing Wu; Mingxin Huang; Zhen Wu; Guibin Wang; Tengyu Du; Lei Jia

Makalah · arXiv 2606.23050

Unlimited OCR Works

Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu et al.

Terbit 2026-06-22cs.CVcs.CL arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Decoder OCR berbasis LLM standar mengalami pertumbuhan KV cache linier dan penurunan kecepatan selama transkripsi dokumen multipaginasi berdurasi panjang.
🔧 Menggunakan Reference Sliding Window Attention (R-SWA), di mana token decoding memperhatikan secara global seluruh token prefiks/visual sambil hanya mempertahankan jendela kausal konstan dari keluaran terbaru ( $n = 128$ ).
📈 Meraih skor keseluruhan 93,23% pada OmniDocBench v1.5 (+6,22% melampaui DeepSeek OCR) dan mempertahankan latensi generasi yang konstan di sepanjang keluaran yang panjang.

Abstrak

Akhir-akhir ini, model OCR end-to-end, seperti yang dicontohkan oleh DeepSeek OCR, kembali membawa OCR ke pusat perhatian. Pandangan yang dianut secara luas adalah bahwa penggunaan large language model (LLM) sebagai decoder memungkinkan model memanfaatkan distribusi prior bahasa, yang berujung pada peningkatan performa OCR. Namun, kelemahannya juga sama jelasnya: seiring bertambah panjangnya urutan keluaran, akumulasi KV cache meningkatkan konsumsi memori dan secara progresif memperlambat proses pembuatan teks. Hal ini sangat bertolak belakang dengan manusia, yang tidak menunjukkan penurunan efisiensi serupa selama tugas menyalin teks panjang. Dalam laporan teknis ini, kami mengusulkan Unlimited OCR, sebuah model yang dirancang untuk meniru memori kerja parsing manusia. Mengambil DeepSeek OCR sebagai baseline, kami mengganti semua lapisan attention pada decoder dengan Reference Sliding Window Attention (R-SWA) yang kami usulkan, yang mengurangi biaya komputasi attention sekaligus mempertahankan KV cache yang konstan di sepanjang keseluruhan proses decoding. Dengan menggabungkan rasio kompresi tinggi dari encoder DeepSeek OCR dan rancangan KV cache konstan kami, Unlimited OCR mampu mentranskripsikan puluhan halaman dokumen dalam satu kali forward pass di bawah panjang maksimum standar 32K. Lebih penting lagi, R-SWA merupakan mekanisme attention parsing serbaguna - di luar OCR, mekanisme ini juga dapat diterapkan pada tugas-tugas seperti ASR, penerjemahan, dll. Kode dan bobot model tersedia untuk umum di http://github.com/baidu/Unlimited-OCR.

Abstrak asli (bahasa Inggris)

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR's encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism - beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR.

Panduan membaca

Masalah dan motivasi

Manusia dapat mentranskripsikan ratusan halaman atau menerjemahkan audio berjam-jam secara terus-menerus tanpa kehilangan kecepatan, memanfaatkan memori kerja untuk melacak konteks lokal sementara materi sumber asli tetap dapat diakses. Sebaliknya, multimodal large language models (MLLM) dan sistem OCR padat saat ini mengalami kesulitan dalam parsing berdurasi panjang (long-horizon parsing). Sistem yang ada biasanya memproses dokumen multipaginasi dengan pendekatan for-loop per halaman yang menyetel ulang memori di setiap langkah, menciptakan solusi rekayasa darurat alih-alih pemrosesan kontinu yang sebenarnya.

Ketika model end-to-end mencoba urutan decoding yang panjang, multi-head attention (MHA) standar mengakumulasikan key-value (KV) cache secara linier terhadap panjang keluaran $T$ . Hal ini menyebabkan konsumsi memori GPU yang terus meningkat dan degradasi latensi. Model linear attention dengan pembaruan rekuren juga gagal karena pembaruan status rekuren secara progresif mengaburkan fitur referensi visual.

Ide utama

Reference Sliding Window Attention (R-SWA): Token yang dihasilkan memperhatikan secara global semua token referensi prefiks statis (representasi visual dan instruksi) sembari memperhatikan secara lokal hanya $n$ token keluaran sebelumnya ( $n = 128$ secara default).
KV Cache Decoding Konstan: Dengan menghapus token yang lebih lama dari $n$ dalam buffer generasi melalui antrean FIFO, jejak memori cache decoding dibatasi secara ketat pada $L_{m} + n$ , memastikan latensi per-langkah yang konstan dan penggunaan memori GPU yang konstan.
Prefiks Visual Berkompresi Tinggi: Dipadukan dengan DeepEncoder dari DeepSeek OCR (yang mengompresi gambar $1024 \times 1024$ sebesar $16 \times$ menjadi hanya 256 token), puluhan halaman dapat di-prefill dalam satu kali proses tanpa melampaui batas konteks standar.

Metode

Unlimited OCR dibangun di atas baseline DeepSeek OCR, dengan mempertahankan DeepEncoder yang dibekukan (berupa kaskade SAM-ViT dan CLIP-ViT) yang dipadukan dengan decoder LLM Mixture-of-Experts (MoE) berparameter 3B (mengaktifkan 500M parameter). Semua lapisan MHA standar di dalam decoder diganti dengan R-SWA.

Formulasi Matematis

Untuk token yang dihasilkan pada langkah decoding $t$ , himpunan attention yang dapat diakses $N (t)$ terdiri dari dua segmen:

$N (t) = P \cup D_{n} (t)$

di mana $P = {1, \dots, L_{m}}$ adalah segmen prefiks statis sepanjang $L_{m}$ , dan $D_{n} (t)$ adalah sliding window kausal atas token-token yang dihasilkan:

$D_{n} (t) = {j ∣ max (L_{m} + 1, L_{m} + t - n) \leq j \leq L_{m} + t - 1}$

Bobot attention $α_{t j}$ dari token $t$ ke posisi $j \in N (t)$ adalah:

$α_{t j} = \frac{exp ( \frac{q _{t}^{⊤} k _{j}}{d _{k}} )}{\sum _{i \in N (t)} exp ( \frac{q _{t}^{⊤} k _{i}}{d _{k}} )}, j \in N (t)$

Representasi keluaran diagregasikan di atas himpunan yang dapat diakses tersebut:

$o_{t} = j \in N (t) \sum α_{t j} v_{j}$

Penskalaan KV Cache

Sementara MHA standar berskala linier terhadap panjang decoding $T$ ( $C_{MHA} (T) = L_{m} + T$ ), R-SWA membatasi kapasitas cache:

$C_{R-SWA} (T) = L_{m} + min (n, T) \leq L_{m} + n$

Ketika proses decoding mendominasi ( $T ≫ n$ dan $T ≫ L_{m}$ ), rasio cache relatif mendekati nol:

$ρ (T) = \frac{L _{m} + n}{L _{m} + T} \approx \frac{L _{m} + n}{T} \to 0$

Hasil

OmniDocBench v1.5: Unlimited OCR mencapai skor keseluruhan 93,23% (peningkatan absolut 6,22% di atas DeepSeek OCR yang berada di 87,01%), menurunkan Text Edit Distance dari 0,073 menjadi 0,038 dan meningkatkan TEDS Tabel dari 84,97% menjadi 90,93%.
OmniDocBench v1.6: Mencapai skor keseluruhan 93,92%, menyamai atau melampaui model end-to-end kontemporer seperti Qianfan-OCR (93,90%) dan FireRed-OCR (93,26%).
Kecepatan Inferensi: Dalam pengujian OmniDocBench, Unlimited OCR menghasilkan 5.580 TPS dibandingkan DeepSeek OCR yang meraih 4.951 TPS (percepatan 12,7%). Di bawah konkurensi maksimum teoretis pada 6.144 token yang dihasilkan, Unlimited OCR mencapai 7.847,71 TPS sedangkan DeepSeek OCR turun ke 5.822,87 TPS (selisih performa sebesar 35%).
OCR Multipaginasi Jangka Panjang: Dievaluasi pada buku multipaginasi, Unlimited OCR mencapai Edit Distance 0,0362 pada 2 halaman, 0,0572 pada 20 halaman, dan 0,1069 pada 40+ halaman (mempertahankan 96,90% Distinct-35).

Batasan dan pertanyaan terbuka

Bottleneck Prefill: Model saat ini masih dibatasi oleh panjang konteks masukan maksimum (32K token). Meskipun DeepEncoder mengompresi satu halaman menjadi 256 token, ratusan halaman masih memakan memori prefill yang signifikan.
Degradasi Teks Berukuran Kecil: Dalam skenario multipaginasi, penggunaan mode Base 1024×1024 DeepEncoder menimbulkan kesalahan pengenalan pada ukuran font yang sangat kecil akibat keterbatasan resolusi alih-alih hilangnya jendela attention.
Pool Prefill Eksternal: Penelitian masa depan mengeksplorasi pelatihan pada konteks 128K dan perancangan mekanisme pengambilan KV prefill dinamis otonom yang meniru tindakan membalik halaman.

Istilah kunci

Reference Sliding Window Attention (R-SWA): Mekanisme attention di mana setiap token decoding memperhatikan secara global seluruh token prefiks/visual statis dan memperhatikan secara lokal $n$ token yang dihasilkan sebelumnya.
DeepEncoder: Visual encoder berkaskade SAM-ViT dan CLIP-ViT yang mencapai rasio kompresi token 16x, memadatkan gambar 1024x1024 menjadi 256 token visual.
Constant KV Cache: Struktur cache decoding yang dibatasi hingga $L_{m} + n$ token menggunakan antrean pengeluaran FIFO, menjaga kestabilan memori GPU dan latensi per-langkah.
Long-horizon Parsing: Mentranskripsikan atau mem-parsing dokumen multipaginasi secara kontinu (misalnya, 20 hingga 40+ halaman) dalam satu kali forward pass tanpa gangguan.
OmniDocBench: Benchmark parsing dokumen multifaset yang mengevaluasi jarak edit teks, CDM rumus, struktur tabel (TEDS), dan urutan baca.
Flash Attention v3 Kernel Latency: Durasi kernel per-langkah selama proses decoding, yang meningkat secara linier pada MHA standar namun tetap konstan di bawah R-SWA.
Distinct-n: Metrik keberagaman yang didefinisikan sebagai rasio n-gram unik terhadap total n-gram yang digunakan untuk mengukur halusinasi atau pengulangan berulang selama generasi teks.

Pertanyaan

Berapa lebar default sliding window $n$ pada Unlimited OCR?

Jendela decoding kausal $n$ secara default bernilai 128 token, yang dinilai mencukupi untuk melacak progres dan kontinuitas intra-halaman.

Apa perbedaan antara R-SWA dan Sliding Window Attention (SWA) biasa?

SWA biasa menerapkan jendela lokal di seluruh token, yang berisiko membuang atau secara bertahap mengaburkan token referensi visual. R-SWA menjaga semua token visual/prefiks dapat diakses secara global tanpa transisi status, sembari hanya menggeser jendela pada teks yang dihasilkan.

Berapa banyak parameter yang diaktifkan selama inferensi?

Unlimited OCR menggunakan arsitektur MoE dengan total 3B parameter dengan hanya 500M parameter yang diaktifkan selama inferensi.

Mengapa DeepSeek OCR melambat saat panjang keluaran bertambah sementara Unlimited OCR tidak?

DeepSeek OCR bergantung pada MHA standar dengan ukuran KV cache yang bertambah seiring panjang urutan, meningkatkan komputasi attention serta beban memori. Unlimited OCR mempertahankan KV cache konstan sebesar $L_{m} + n$ , menjaga latensi per-langkah tetap stabil.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI