Unlimited OCR Works

Guía de lectura

Problema y motivación

Los humanos pueden transcribir cientos de páginas o traducir horas de audio de forma continua sin perder velocidad, utilizando la memoria de trabajo para rastrear el contexto local mientras el material de origen original permanece accesible. Por el contrario, los modelos multimodales grandes de lenguaje (MLLM) y los sistemas de OCR denso actuales tienen dificultades con el análisis sintáctico de largo alcance. Los sistemas existentes suelen procesar documentos de varias páginas mediante un bucle for-loop página por página que restablece la memoria en cada paso, creando una solución de ingeniería provisional en lugar de un verdadero procesamiento continuo.

Cuando los modelos de extremo a extremo intentan secuencias de decodificación largas, la atención multi-cabeza (MHA) estándar acumula la memoria caché clave-valor (KV cache) de forma lineal con la longitud de salida $T$. Esto provoca un aumento progresivo del consumo de memoria de la GPU y la degradación de la latencia. Los modelos de atención lineal con actualizaciones recurrentes también fallan porque las actualizaciones del estado recurrente difuminan progresivamente las características visuales de referencia.

Ideas clave

• Reference Sliding Window Attention (R-SWA): Los tokens generados atienden globalmente a todos los tokens de referencia de prefijo estático (representaciones visuales e instrucciones) mientras atienden localmente solo a los $n$ tokens de salida precedentes ($n=128$ por defecto).
• KV Cache de decodificación constante: Al desalojar los tokens con una antigüedad superior a $n$ en el búfer de generación mediante una cola FIFO, el tamaño de la caché de decodificación queda estrictamente acotado superiormente por $L_m+n$, lo que garantiza una latencia por paso y un uso de memoria de GPU constantes.
• Prefijo visual de alta compresión: Emparejado con el DeepEncoder de DeepSeek OCR (que comprime una imagen de $1024\times 1024$ en un factor de $16\times$ hasta 256 tokens), se pueden prellenar docenas de páginas en una sola pasada sin exceder los límites estándar de contexto.

Método

Unlimited OCR se basa en la base de referencia de DeepSeek OCR, conservando su DeepEncoder congelado (que encadena SAM-ViT y CLIP-ViT) emparejado con un decodificador LLM de tipo Mixture-of-Experts (MoE) de 3B de parámetros (que activa 500M de parámetros). Todas las capas MHA estándar en el decodificador se reemplazan por R-SWA.

Formulación matemática

Para un token generado en el paso de decodificación $t$, el conjunto de atención accesible $\mathcal{N}(t)$ consta de dos segmentos:

$$\mathcal{N}(t)=\mathcal{P}\cup {\mathcal{D}}_n(t)$$

donde $\mathcal{P}=\{1,\dots ,L_m\}$ es el segmento de prefijo estático de longitud $L_m$, y ${\mathcal{D}}_n(t)$ es la ventana deslizante causal sobre los tokens generados:

$${\mathcal{D}}_n(t)=\left\{j\mid \max (L_m+1,L_m+t-n)\le j\le L_m+t-1\right\}$$

El peso de atención ${\alpha }_{tj}$ del token $t$ a la posición $j\in \mathcal{N}(t)$ es:

$${\alpha }_{tj}=\frac{\exp \left(\frac{{\mathbf{q}}_t^{\top }{\mathbf{k}}_j}{\sqrt{d_k}}\right)}{{\sum }_{i\in \mathcal{N}(t)}\exp \left(\frac{{\mathbf{q}}_t^{\top }{\mathbf{k}}_i}{\sqrt{d_k}}\right)},j\in \mathcal{N}(t)$$

La representación de salida se agrega sobre el conjunto accesible:

$${\mathbf{o}}_t=\sum _{j\in \mathcal{N}(t)}{\alpha }_{tj}{\mathbf{v}}_j$$

Escalamiento de la KV Cache

Mientras que la MHA estándar escala linealmente con la longitud de decodificación $T$ ($C_{\text{MHA}}(T)=L_m+T$), R-SWA limita la capacidad de la caché:

$$C_{\text{R-SWA}}(T)=L_m+\min (n,T)\le L_m+n$$

Cuando la decodificación domina ($T\gg n$ y $T\gg L_m$), la proporción relativa de la caché tiende a cero:

$$\rho (T)=\frac{L_m+n}{L_m+T}\approx \frac{L_m+n}{T}\to 0$$

Resultados

• OmniDocBench v1.5: Unlimited OCR logra una puntuación global del 93.23% (una ganancia absoluta del 6.22% sobre DeepSeek OCR con 87.01%), reduciendo la Text Edit Distance de 0.073 a 0.038 y aumentando el TEDS de tablas del 84.97% al 90.93%.
• OmniDocBench v1.6: Alcanza un 93.92% global, igualando o superando a modelos contemporáneos de extremo a extremo como Qianfan-OCR (93.90%) y FireRed-OCR (93.26%).
• Velocidad de inferencia: En las pruebas de OmniDocBench, Unlimited OCR ofrece 5,580 TPS en comparación con los 4,951 TPS de DeepSeek OCR (un aumento de velocidad del 12.7%). Bajo la concurrencia máxima teórica con 6,144 tokens generados, Unlimited OCR alcanza 7,847.71 TPS mientras que DeepSeek OCR cae a 5,822.87 TPS (una brecha de rendimiento del 35%).
• OCR de largo alcance multipágina: Evaluado en libros de varias páginas, Unlimited OCR logra una Edit Distance de 0.0362 en 2 páginas, 0.0572 en 20 páginas y 0.1069 en más de 40 páginas (reteniendo un 96.90% de Distinct-35).

Limitaciones y preguntas abiertas

• Cuello de botella en el prefill: El modelo actual todavía está limitado por la longitud máxima de contexto de entrada (32K tokens). Aunque DeepEncoder comprime una sola página a 256 tokens, cientos de páginas aún ocupan una memoria de prefill significativa.
• Degradación en texto pequeño: En configuraciones multipágina, el uso del modo Base de 1024×1024 de DeepEncoder causa errores de reconocimiento en fuentes de tamaño minúsculo debido a límites de resolución más que a la pérdida de la ventana de atención.
• Pool externo de prefill: Los trabajos futuros exploran el entrenamiento en un contexto de 128K y la creación de un mecanismo dinámico y autónomo de recuperación de la KV de prefill que imite el paso de páginas.