Unlimited OCR Works

Youyang Yin; Huanhuan Liu; YY; Qunyi Xie; Chaorun Liu; Shiqi Yang; Shaohua Wang; Zhanlong Liu; Hao Zou; Jinyue Chen; Shu Wei; Jingjing Wu; Mingxin Huang; Zhen Wu; Guibin Wang; Tengyu Du; Lei Jia

Bài báo · arXiv 2606.23050

Unlimited OCR Works

Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu et al.

Xuất bản 2026-06-22cs.CVcs.CL arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Các bộ giải mã OCR dựa trên LLM tiêu chuẩn chịu ảnh hưởng từ sự tăng trưởng KV cache tuyến tính và tốc độ suy giảm khi sao chép tài liệu dài hạn nhiều trang.
🔧 Sử dụng Reference Sliding Window Attention (R-SWA), trong đó các token đang giải mã chú ý toàn cục đến tất cả các token tiền tố/thị giác nhưng chỉ giữ lại một cửa sổ nhân quả cố định chứa các đầu ra gần nhất ( $n = 128$ ).
📈 Đạt 93,23% điểm tổng thể trên OmniDocBench v1.5 (+6,22% so với DeepSeek OCR) và duy trì độ trễ sinh không đổi trên các chuỗi đầu ra dài.

Tóm tắt

Gần đây, các mô hình OCR đầu-cuối (end-to-end), điển hình là DeepSeek OCR, đã một lần nữa đưa OCR trở lại tâm điểm chú ý. Một quan điểm phổ biến cho rằng việc sử dụng mô hình ngôn ngữ lớn (LLM) làm bộ giải mã cho phép mô hình tận dụng phân phối tiên nghiệm của ngôn ngữ, từ đó cải thiện hiệu năng OCR. Tuy nhiên, mặt trái cũng rõ ràng không kém: khi chuỗi đầu ra dài ra, KV cache tích lũy làm tăng mức tiêu thụ bộ nhớ và làm chậm dần tốc độ sinh. Điều này trái ngược hoàn toàn với con người, những người không hề suy giảm hiệu quả trong các tác vụ sao chép dài hạn. Trong báo cáo kỹ thuật này, chúng tôi đề xuất Unlimited OCR, một mô hình được thiết kế để mô phỏng bộ nhớ làm việc (working memory) trong việc phân tích cú pháp của con người. Lấy DeepSeek OCR làm baseline, chúng tôi thay thế toàn bộ các lớp attention trong bộ giải mã bằng cơ chế Reference Sliding Window Attention (R-SWA) do chúng tôi đề xuất, giúp giảm chi phí tính toán attention trong khi vẫn duy trì KV cache không đổi trong suốt quá trình giải mã. Bằng cách kết hợp tỷ lệ nén cao của bộ mã hóa DeepSeek OCR với thiết kế KV cache không đổi của chúng tôi, Unlimited OCR có thể chuyển ngữ hàng chục trang tài liệu trong một lượt truyền thẳng (forward pass) duy nhất dưới độ dài tối đa tiêu chuẩn là 32K. Quan trọng hơn, R-SWA là một cơ chế attention phân tích cú pháp đa mục đích - ngoài OCR, nó cũng có thể áp dụng cho các tác vụ như ASR, dịch thuật, v.v. Mã nguồn và trọng số mô hình được cung cấp công khai tại http://github.com/baidu/Unlimited-OCR.

Tóm tắt gốc (tiếng Anh)

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR's encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism - beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR.

Hướng dẫn đọc

Vấn đề và Động lực

Con người có thể chép lại hàng trăm trang sách hoặc dịch hàng giờ âm thanh liên tục mà không bị giảm tốc độ, nhờ sử dụng bộ nhớ làm việc (working memory) để theo dõi ngữ cảnh cục bộ trong khi tài liệu gốc vẫn luôn hiển hiện. Ngược lại, các mô hình ngôn ngữ lớn đa phương thức (MLLM) và các hệ thống OCR dày đặc hiện nay gặp rất nhiều khó khăn với việc phân tích cú pháp dài hạn (long-horizon parsing). Các hệ thống hiện tại thường xử lý tài liệu nhiều trang theo kiểu vòng lặp for-loop từng trang một và đặt lại bộ nhớ sau mỗi bước, tạo ra một giải pháp kỹ thuật tạm thời thay vì xử lý liên tục thực sự.

Khi các mô hình đầu-cuối cố gắng tạo các chuỗi giải mã dài, cơ chế multi-head attention (MHA) tiêu chuẩn sẽ tích lũy key-value (KV) cache tuyến tính theo độ dài đầu ra $T$ . Điều này khiến mức tiêu thụ bộ nhớ GPU tăng dần và làm suy giảm độ trễ. Các mô hình linear attention với cập nhật hồi quy (recurrent updates) cũng thất bại vì các cập nhật trạng thái hồi quy dần dần làm mờ các đặc trưng tham chiếu thị giác.

Các Ý tưởng Chính

Reference Sliding Window Attention (R-SWA): Các token được tạo ra sẽ chú ý toàn cục tới tất cả các token tham chiếu tiền tố tĩnh (biểu diễn thị giác và chỉ dẫn) trong khi chỉ chú ý cục bộ tới $n$ token đầu ra liền trước ( $n = 128$ theo mặc định).
Decoding KV Cache Không Đổi: Bằng cách loại bỏ các token cũ hơn $n$ trong bộ đệm tạo sinh thông qua hàng đợi FIFO, dung lượng cache khi giải mã được giới hạn trên nghiêm ngặt bởi $L_{m} + n$ , đảm bảo độ trễ mỗi bước và mức sử dụng bộ nhớ GPU luôn giữ nguyên.
Tiền tố Thị giác Nén Cao: Kết hợp với DeepEncoder từ DeepSeek OCR (nén hình ảnh $1024 \times 1024$ tới $16 \times$ xuống còn 256 token), hàng chục trang tài liệu có thể được nạp trước (prefill) trong một lượt duy nhất mà không vượt quá giới hạn ngữ cảnh tiêu chuẩn.

Phương pháp

Unlimited OCR được xây dựng dựa trên baseline DeepSeek OCR, giữ nguyên DeepEncoder bị đóng băng (kết hợp phân tầng SAM-ViT và CLIP-ViT) cùng với bộ giải mã LLM Mixture-of-Experts (MoE) 3B tham số (kích hoạt 500M tham số). Tất cả các lớp MHA tiêu chuẩn trong bộ giải mã được thay thế bằng R-SWA.

Công thức Toán học

Đối với một token được tạo ra tại bước giải mã $t$ , tập attention có thể truy cập $N (t)$ bao gồm hai phần:

$N (t) = P \cup D_{n} (t)$

trong đó $P = {1, \dots, L_{m}}$ là đoạn tiền tố tĩnh có độ dài $L_{m}$ , và $D_{n} (t)$ là cửa sổ trượt nhân quả trên các token đã tạo:

$D_{n} (t) = {j ∣ max (L_{m} + 1, L_{m} + t - n) \leq j \leq L_{m} + t - 1}$

Trọng số attention $α_{t j}$ từ token $t$ đến vị trí $j \in N (t)$ là:

$α_{t j} = \frac{exp ( \frac{q _{t}^{⊤} k _{j}}{d _{k}} )}{\sum _{i \in N (t)} exp ( \frac{q _{t}^{⊤} k _{i}}{d _{k}} )}, j \in N (t)$

Biểu diễn đầu ra được tổng hợp trên tập hợp có thể truy cập:

$o_{t} = j \in N (t) \sum α_{t j} v_{j}$

Mở rộng Quy mô KV Cache

Trong khi MHA tiêu chuẩn mở rộng tuyến tính theo độ dài giải mã $T$ ( $C_{MHA} (T) = L_{m} + T$ ), R-SWA giới hạn dung lượng cache:

$C_{R-SWA} (T) = L_{m} + min (n, T) \leq L_{m} + n$

Khi pha giải mã chiếm ưu thế ( $T ≫ n$ và $T ≫ L_{m}$ ), tỷ lệ cache tương đối tiến về 0:

$ρ (T) = \frac{L _{m} + n}{L _{m} + T} \approx \frac{L _{m} + n}{T} \to 0$

Kết quả

OmniDocBench v1.5: Unlimited OCR đạt điểm tổng thể 93,23% (tăng 6,22% tuyệt đối so với DeepSeek OCR ở mức 87,01%), giảm Text Edit Distance từ 0,073 xuống 0,038 và tăng Table TEDS từ 84,97% lên 90,93%.
OmniDocBench v1.6: Đạt 93,92% tổng thể, ngang bằng hoặc vượt trội hơn các mô hình đầu-cuối đương thời như Qianfan-OCR (93,90%) và FireRed-OCR (93,26%).
Tốc độ Suy luận: Trong các thử nghiệm trên OmniDocBench, Unlimited OCR đạt 5.580 TPS so với 4.951 TPS của DeepSeek OCR (tăng tốc 12,7%). Dưới mức đồng thời tối đa theo lý thuyết ở 6.144 token được tạo, Unlimited OCR đạt 7.847,71 TPS trong khi DeepSeek OCR giảm xuống 5.822,87 TPS (chênh lệch hiệu năng 35%).
OCR Nhiều Trang Dài Hạn: Được đánh giá trên các cuốn sách nhiều trang, Unlimited OCR đạt Edit Distance là 0,0362 trên 2 trang, 0,0572 trên 20 trang và 0,1069 trên 40+ trang (giữ mức Distinct-35 đạt 96,90%).

Hạn chế và Câu hỏi Mở

Nghẽn cổ chai ở Prefill: Mô hình hiện tại vẫn bị giới hạn bởi độ dài ngữ cảnh đầu vào tối đa (32K token). Mặc dù DeepEncoder nén một trang xuống còn 256 token, hàng trăm trang vẫn chiếm dung lượng bộ nhớ prefill đáng kể.
Giảm chất lượng trên Văn bản Nhỏ: Trong các thiết lập nhiều trang, việc sử dụng chế độ Base 1024×1024 của DeepEncoder dẫn đến lỗi nhận dạng ở các kích thước phông chữ rất nhỏ do giới hạn độ phân giải chứ không phải do mất cửa sổ attention.
External Prefill Pool: Nghiên cứu trong tương lai sẽ khám phá việc huấn luyện trên ngữ cảnh 128K và xây dựng một cơ chế tự động lấy động KV prefill mô phỏng hành vi lật trang sách.

Thuật ngữ chính

Reference Sliding Window Attention (R-SWA): Một cơ chế attention trong đó mỗi token giải mã chú ý toàn cục đến tất cả các token tiền tố/thị giác tĩnh và chú ý cục bộ đến $n$ token đã tạo liền trước.
DeepEncoder: Một bộ mã hóa thị giác phân tầng gồm SAM-ViT và CLIP-ViT, đạt tỷ lệ nén token gấp 16 lần, nén hình ảnh 1024x1024 thành 256 token thị giác.
Constant KV Cache: Cấu trúc cache giải mã được giới hạn ở $L_{m} + n$ token bằng cách sử dụng hàng đợi loại bỏ FIFO, giữ cho mức bộ nhớ GPU và độ trễ mỗi bước không đổi.
Long-horizon Parsing: Việc liên tục sao chép hoặc phân tích cú pháp các tài liệu nhiều trang (ví dụ từ 20 đến 40+ trang) trong một lượt truyền thẳng (forward pass) duy nhất không bị gián đoạn.
OmniDocBench: Một benchmark phân tích tài liệu đa diện đánh giá khoảng cách chỉnh sửa văn bản, CDM công thức, cấu trúc bảng (TEDS) và thứ tự đọc.
Flash Attention v3 Kernel Latency: Thời lượng thực thi kernel cho mỗi bước trong quá trình giải mã, tăng tuyến tính trong MHA tiêu chuẩn nhưng giữ nguyên không đổi dưới cơ chế R-SWA.
Distinct-n: Một số đo độ đa dạng được định nghĩa bằng tỷ lệ giữa các n-gram duy nhất so với tổng số n-gram, dùng để đo lường hiện tượng ảo giác (hallucination) hoặc lặp từ trong quá trình tạo văn bản.

Câu hỏi thường gặp

Độ rộng cửa sổ trượt $n$ mặc định trong Unlimited OCR là bao nhiêu?

Cửa sổ giải mã nhân quả $n$ mặc định là 128 token, đủ để theo dõi tiến trình và tính liên tục trong cùng một trang.

R-SWA khác với Sliding Window Attention (SWA) thông thường như thế nào?

SWA thông thường áp dụng cửa sổ cục bộ trên tất cả các token, điều này sẽ loại bỏ hoặc làm mờ dần các token tham chiếu thị giác. R-SWA giữ cho tất cả các token thị giác/tiền tố có thể truy cập toàn cục mà không cần chuyển đổi trạng thái, trong khi chỉ trượt trên phần văn bản được tạo ra.

Có bao nhiêu tham số được kích hoạt trong quá trình suy luận?

Unlimited OCR sử dụng kiến trúc MoE với tổng cộng 3B tham số nhưng chỉ kích hoạt 500M tham số trong quá trình suy luận.

Tại sao DeepSeek OCR chậm dần khi độ dài đầu ra tăng lên trong khi Unlimited OCR thì không?

DeepSeek OCR dựa vào MHA tiêu chuẩn, nơi kích thước KV cache tăng theo độ dài chuỗi, làm tăng chi phí tính toán attention và bộ nhớ. Unlimited OCR duy trì KV cache không đổi ở mức $L_{m} + n$ , giữ cho độ trễ mỗi bước luôn ổn định.

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI