Unlimited OCR Works

Youyang Yin; Huanhuan Liu; YY; Qunyi Xie; Chaorun Liu; Shiqi Yang; Shaohua Wang; Zhanlong Liu; Hao Zou; Jinyue Chen; Shu Wei; Jingjing Wu; Mingxin Huang; Zhen Wu; Guibin Wang; Tengyu Du; Lei Jia

논문 · arXiv 2606.23050

Unlimited OCR Works

Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu et al.

게시일 2026-06-22cs.CVcs.CL arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 표준 LLM 기반 OCR 디코더는 장기 다중 페이지 문서 전사 시 선형적인 KV 캐시 증가와 속도 저하 문제를 겪습니다.
🔧 디코딩 토큰이 모든 프리픽스/시각적 토큰에는 전역적으로 어텐션을 수행하고, 최근 출력에 대해서는 고정된 인과적 윈도우( $n = 128$ )만 유지하는 Reference Sliding Window Attention (R-SWA)을 도입합니다.
📈 OmniDocBench v1.5에서 전체 93.23%(DeepSeek OCR 대비 +6.22%)를 달성하며, 긴 출력 전반에 걸쳐 일정한 생성 지연 시간을 유지합니다.

초록

최근 DeepSeek OCR로 대표되는 엔드투엔드 OCR 모델들이 다시금 OCR을 주목받게 만들고 있습니다. 대규모 언어 모델(LLM)을 디코더로 사용하면 언어의 사전 분포를 활용할 수 있어 OCR 성능이 향상된다는 견해가 지배적입니다. 그러나 단점 역시 명확합니다. 출력 시퀀스가 길어질수록 누적되는 KV 캐시로 인해 메모리 소비가 급증하고 생성 속도가 점진적으로 느려집니다. 이는 장기 복사 작업 중에도 효율성 저하를 보이지 않는 인간과 극명한 대조를 이룹니다. 본 기술 보고서에서는 인간의 파싱 작업 기억을 모방하도록 설계된 모델인 Unlimited OCR를 제안합니다. DeepSeek OCR을 베이스라인으로 삼아 디코더의 모든 어텐션 레이어를 당사가 제안하는 Reference Sliding Window Attention (R-SWA)으로 대체하여, 전체 디코딩 과정 동안 일정한 KV 캐시를 유지하면서 어텐션 계산 비용을 절감합니다. DeepSeek OCR 인코더의 높은 압축률과 고정 KV 캐시 설계를 결합함으로써, Unlimited OCR는 표준 최대 길이인 32K 내에서 단 한 번의 순전파로 수십 페이지의 문서를 전사할 수 있습니다. 더욱 중요한 점은 R-SWA가 범용 파싱 어텐션 메커니즘이라는 점입니다. OCR을 넘어 ASR, 번역 등의 작업에도 동일하게 적용될 수 있습니다. 코드와 모델 가중치는 http://github.com/baidu/Unlimited-OCR 에서 공개되어 있습니다.

영어 원문 초록

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR's encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism - beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR.

논문 해설

문제 및 동기

인간은 원본 자료에 계속 접근하면서 작업 기억을 활용해 로컬 문맥을 추적함으로써, 속도 저하 없이 수백 페이지를 전사하거나 수 시간 분량의 오디오를 연속으로 번역할 수 있습니다. 반면, 현재의 멀티모달 대규모 언어 모델(MLLM)과 dense OCR 시스템은 장기(long-horizon) 파싱에 어려움을 겪습니다. 기존 시스템은 대개 다중 페이지 문서를 페이지 단위의 for-loop 방식으로 처리하여 매 단계마다 메모리를 리셋하므로, 진정한 연속 처리라기보다는 엔지니어링 차원의 임시방편에 가깝습니다.

엔드투엔드 모델이 긴 디코딩 시퀀스를 처리하려 할 때, 표준 Multi-Head Attention (MHA)은 출력 길이 $T$ 에 비례하여 Key-Value (KV) 캐시를 선형적으로 누적합니다. 이는 GPU 메모리 사용량을 지속적으로 증가시키고 지연 시간을 악화시킵니다. 순환적(recurrent) 업데이트를 사용하는 선형 어텐션 모델 역시 순환 상태 업데이트 과정에서 시각적 참조 특징이 점진적으로 흐려지기 때문에 한계를 보입니다.

핵심 아이디어

Reference Sliding Window Attention (R-SWA): 생성된 토큰은 모든 정적 프리픽스 참조 토큰(시각적 표현 및 지시문)에 대해 전역적으로 어텐션을 수행하는 동시에, 직전 $n$ 개의 출력 토큰( $n = 128$ 기본값)에 대해서만 로컬로 어텐션을 수행합니다.
고정 디코딩 KV 캐시: FIFO 큐를 통해 생성 버퍼에서 $n$ 개보다 오래된 토큰을 축출함으로써 디코딩 캐시 크기를 $L_{m} + n$ 으로 엄격히 제한하며, 스텝당 일정한 지연 시간과 일정한 GPU 메모리 사용량을 보장합니다.
고압축 시각적 프리픽스: $1024 \times 1024$ 이미지를 16배 압축하여 256개 토큰으로 줄이는 DeepSeek OCR의 DeepEncoder와 결합하여, 표준 컨텍스트 길이를 초과하지 않고도 단일 패스로 수십 페이지를 프리필(prefill)할 수 있습니다.

방법론

Unlimited OCR는 DeepSeek OCR 베이스라인을 기반으로 구축되었으며, 동결된 DeepEncoder(SAM-ViT 및 CLIP-ViT 캐스케이드)와 3B 파라미터 Mixture-of-Experts (MoE) LLM 디코더(500M 파라미터 활성화) 구조를 유지합니다. 디코더 내의 모든 표준 MHA 레이어는 R-SWA로 대체됩니다.

수학적 정식화

디코딩 스텝 $t$ 에서 생성된 토큰에 대해 접근 가능한 어텐션 세트 $N (t)$ 는 두 세그먼트로 구성됩니다.

$N (t) = P \cup D_{n} (t)$

여기서 $P = {1, \dots, L_{m}}$ 은 길이 $L_{m}$ 의 정적 프리픽스 세그먼트이며, $D_{n} (t)$ 는 생성된 토큰에 대한 인과적 슬라이딩 윈도우입니다.

$D_{n} (t) = {j ∣ max (L_{m} + 1, L_{m} + t - n) \leq j \leq L_{m} + t - 1}$

토큰 $t$ 에서 위치 $j \in N (t)$ 로의 어텐션 가중치 $α_{t j}$ 는 다음과 같습니다.

$α_{t j} = \frac{exp ( \frac{q _{t}^{⊤} k _{j}}{d _{k}} )}{\sum _{i \in N (t)} exp ( \frac{q _{t}^{⊤} k _{i}}{d _{k}} )}, j \in N (t)$

출력 표현은 접근 가능한 세트 전반에 걸쳐 집계됩니다.

$o_{t} = j \in N (t) \sum α_{t j} v_{j}$

KV 캐시 스케일링

표준 MHA는 디코드 길이 $T$ 에 따라 선형적으로 증가( $C_{MHA} (T) = L_{m} + T$ )하는 반면, R-SWA는 캐시 용량을 상한으로 제한합니다.

$C_{R-SWA} (T) = L_{m} + min (n, T) \leq L_{m} + n$

디코딩이 지배적인 경우( $T ≫ n$ 및 $T ≫ L_{m}$ ), 상대적 캐시 비율은 0에 수렴합니다.

$ρ (T) = \frac{L _{m} + n}{L _{m} + T} \approx \frac{L _{m} + n}{T} \to 0$

실험 결과

OmniDocBench v1.5: Unlimited OCR는 전체 점수 93.23%(DeepSeek OCR의 87.01% 대비 6.22% 절대적 향상)를 달성했으며, Text Edit Distance를 0.073에서 0.038로 낮추고 Table TEDS를 84.97%에서 90.93%로 높였습니다.
OmniDocBench v1.6: 전체 93.92%를 기록하여 Qianfan-OCR (93.90%) 및 FireRed-OCR (93.26%)과 같은 최신 엔드투엔드 모델과 동등하거나 이를 능가하는 성능을 보였습니다.
추론 속도: OmniDocBench 테스트에서 Unlimited OCR는 DeepSeek OCR의 4,951 TPS 대비 12.7% 향상된 5,580 TPS를 기록했습니다. 6,144개 생성 토큰 기준 이론적 최대 동시성 환경에서 Unlimited OCR는 7,847.71 TPS에 도달한 반면 DeepSeek OCR는 5,822.87 TPS로 떨어져 35%의 성능 격차를 나타냈습니다.
다중 페이지 장기 OCR: 다중 페이지 도서 평가에서 Unlimited OCR는 2페이지에서 0.0362, 20페이지에서 0.0572, 40페이지 이상에서 0.1069의 Edit Distance를 달성했습니다(Distinct-35 96.90% 유지).

한계점 및 향후 연구 과제

프리필 병목: 현재 모델은 여전히 최대 입력 컨텍스트 길이(32K 토큰)의 제약을 받습니다. DeepEncoder가 단일 페이지를 256개 토큰으로 압축하더라도, 수백 페이지는 여전히 상당한 양의 프리필 메모리를 차지합니다.
작은 텍스트 인식 저하: 다중 페이지 환경에서 DeepEncoder의 1024×1024 Base 모드를 사용할 경우, 어텐션 윈도우 손실보다는 해상도 한계로 인해 아주 작은 글꼴 크기에서 인식 오류가 발생합니다.
외부 프리필 풀: 향후 연구에서는 128K 컨텍스트 학습 및 책장을 넘기는 동작을 모방하여 프리필 KV를 자율적으로 동적 페치하는 메커니즘 구축을 탐색할 예정입니다.

핵심 용어

Reference Sliding Window Attention (R-SWA): 각 디코딩 토큰이 모든 정적 프리픽스/시각적 토큰에는 전역적으로 어텐션을 수행하고 직전 $n$ 개의 생성된 토큰에는 로컬로 어텐션을 수행하는 메커니즘.
DeepEncoder: SAM-ViT와 CLIP-ViT를 캐스케이드하여 16배의 토큰 압축률을 달성하고, 1024x1024 이미지를 256개의 시각적 토큰으로 압축하는 시각 인코더.
Constant KV Cache: FIFO 축출 큐를 사용하여 $L_{m} + n$ 토큰으로 상한을 두어 GPU 메모리와 스텝당 지연 시간을 일정하게 유지하는 디코딩 캐시 구조.
Long-horizon Parsing: 중단 없는 단일 순전파 내에서 다중 페이지 문서(예: 20페이지에서 40페이지 이상)를 지속적으로 전사하거나 파싱하는 작업.
OmniDocBench: 텍스트 편집 거리, 수식 CDM, 표 구조(TEDS) 및 읽기 순서를 평가하는 다면적 문서 파싱 벤치마크.
Flash Attention v3 Kernel Latency: 디코딩 중 스텝당 커널 실행 시간으로, 표준 MHA에서는 선형적으로 증가하지만 R-SWA에서는 일정하게 유지됨.
Distinct-n: 생성 중 환각이나 반복 루프를 측정하기 위해 전체 n-그램 대비 고유 n-그램의 비율로 정의된 다양성 지표.

자주 묻는 질문

Unlimited OCR의 기본 슬라이딩 윈도우 너비 $n$은 얼마인가요?

인과적 디코딩 윈도우 $n$ 의 기본값은 128 토큰이며, 이는 진행 상황과 페이지 내 연속성을 추적하기에 충분합니다.

R-SWA는 일반 Sliding Window Attention (SWA)과 어떻게 다른가요?

일반 SWA는 모든 토큰에 로컬 윈도우를 적용하므로 시각적 참조 토큰이 폐기되거나 점진적으로 흐려집니다. 반면 R-SWA는 생성된 텍스트에 대해서만 윈도우를 이동시키면서 모든 시각적/프리픽스 토큰에 상태 전이 없이 전역적으로 접근할 수 있도록 유지합니다.

추론 중 활성화되는 파라미터 수는 몇 개인가요?

Unlimited OCR는 총 3B 파라미터의 MoE 아키텍처를 사용하며, 추론 중에는 500M 파라미터만 활성화됩니다.

출력 길이가 길어질 때 DeepSeek OCR는 느려지는 반면 Unlimited OCR는 그렇지 않은 이유는 무엇인가요?

DeepSeek OCR는 시퀀스 길이에 따라 KV 캐시 크기가 커지는 표준 MHA를 사용하여 어텐션 계산 및 메모리 오버헤드가 증가합니다. 반면 Unlimited OCR는 $L_{m} + n$ 의 일정한 KV 캐시를 유지하므로 스텝당 지연 시간이 일정하게 유지됩니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)