Kronos: un modelo fundacional para el lenguaje de los mercados financieros

Guía de lectura

Problema y motivación

La dinámica de los mercados financieros se captura predominantemente mediante datos de velas (K-lines) que comprenden precios de Apertura, Máximo, Mínimo y Cierre, junto con el Volumen y el Monto ($D=6$, OHLCVA). Si bien los Time Series Foundation Models (TSFM) han avanzado en el pronóstico general, a menudo obtienen un rendimiento inferior al de arquitecturas profundas especializadas y no preentrenadas (como iTransformer) en tareas financieras. Este bajo rendimiento se debe a dos factores:

1. Las K-lines financieras presentan bajas relaciones señal-ruido, colas pesadas, severa no estacionariedad y acoplamientos estrechos entre precio y volumen que entran en conflicto con los sesgos inductivos temporales genéricos.
2. Los TSFM dominantes reservan menos del 1% (a menudo $<0.01\%$) de sus datos de entrenamiento para finanzas, dejando desatendidos objetivos cuantitativos críticos posteriores (como la predicción de volatilidad, el pronóstico de retornos y la generación de datos sintéticos).

Kronos aborda esta brecha como un modelo fundacional abierto y dedicado, entrenado exclusivamente con datos de mercados financieros.

Ideas clave

• Modelado de lenguaje mediante discretización y generación: En lugar de predecir variables continuas de punto flotante con objetivos de regresión frágiles ante valores atípicos y caídas repentinas (flash crashes), Kronos cuantiza las observaciones continuas del mercado en un vocabulario discreto, formulando la predicción como la generación del siguiente token.
• Binary Spherical Quantization (BSQ): La adaptación de la proyección hiperférica garantiza una distorsión de reconstrucción esperada acotada ($\Vert u-\hat{u}\Vert <\sqrt{2}$), preservando la información angular sensible a los cambios de microestructura de colas pesadas mientras limita el impacto de los valores atípicos.
• Descomposición jerárquica en subtokens: Para evitar la sobrecarga de memoria de un vocabulario de tamaño $2^{20}$, Kronos divide un código de $k=20$ bits en $n=2$ subtokens iguales ($k_c=k_f=10$, subvocabulario de $2^{10}=1024$): un subtoken grueso que captura la estructura global y un subtoken fino que codifica detalles residuales.
• Preentrenamiento a escala: Preentrenado en un corpus multiactivo curado que contiene más de 12 000 millones de observaciones de 45 bolsas globales a lo largo de 7 granularidades temporales (desde 1 minuto hasta semanal).

Método

Kronos opera en dos fases distintas:

1. Tokenización de K-lines basada en instancias

Cada observación multivariada continua ${\mathbf{x}}_t\in {\mathbb{R}}^6$ se asigna a un código discreto $b_t=[b_t^c,b_t^f]$ donde $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. El tokenizador (un codificador-decodificador Transformer de 3 capas) se optimiza mediante: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ donde ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$, y ${\mathcal{L}}_{\text{quant}}$ es la pérdida combinada de compromiso y regularización esférica de BSQ.

2. Modelado autorregresivo jerárquico

Un Transformer de solo decodificador ($E_{\text{ar}}$) con atención causal y Rotary Position Embeddings (RoPE) procesa las incrustaciones de tokens fusionadas históricas: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ Condicionada al estado oculto ${\mathbf{h}}_t$, la generación se descompone usando la regla de la cadena: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Cabezal grueso: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Cabezal fino: Una predicción muestreada ${\hat{b}}_t^c$ actualiza el contexto mediante atención cruzada: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ El objetivo total de preentrenamiento es la log-verosimilitud negativa: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Resultados

A través de tres variantes del modelo (${\text{Kronos}}_{small}$ de 24.7M, ${\text{Kronos}}_{base}$ de 102.3M, ${\text{Kronos}}_{large}$ de 499.2M):

• Pronóstico de series de precios: En conjuntos de prueba de 11 activos globales, ${\text{Kronos}}_{large}$ logró un IC promedio de 0.0440 y un RankIC de 0.0267, superando al mejor TSFM zero-shot (${\text{Time-MOE}}_{base}$: RankIC de 0.0138, una mejora del 93%) y al mejor modelo entrenado completamente (TimesNet: RankIC de 0.0143, una mejora del 87%).
• Pronóstico de volatilidad realizada: ${\text{Kronos}}_{large}$ alcanzó un MAE promedio de 0.0370 y un $R^2$ de 0.2624, batiendo a modelos econométricos especializados (GARCH con MAE de 0.0405, una reducción del error de aprox. el 9%) y a otros TSFM.
• Generación sintética: En la métrica de clasificación discriminativa, ${\text{Kronos}}_{large}$ obtuvo 0.3048 (donde 0.50 representa indistinguibilidad), superando a DiffusionTS (0.2504, una mejora relativa de fidelidad del 22%). En la evaluación Train-on-Synthetic, Test-on-Real (TSTR), las secuencias sintéticas generaron un RankIC posterior superior (0.0282 frente a 0.0102 para DiffusionTS).
• Simulación de inversión (Acciones chinas clase A): En backtests sobre los universos CSI 300 y CSI 800 considerando costos de transacción (0.15%), ${\text{Kronos}}_{large}$ generó un Retorno Excedente Anualizado (AER) promedio del 20.84% y un Information Ratio (IR) de 1.6491, superando a las 25 líneas base evaluadas.

Limitaciones y preguntas abiertas

• Longitud máxima de contexto: Limitada a 512 tokens debido a restricciones de memoria; aunque la alineación multifrecuencia lo mitiga parcialmente, la ampliación hacia ventanas de contexto más largas sigue sin explorarse.
• Compromiso en la latencia de inferencia: La factorización en 2 subtokens exige dos pasadas hacia adelante secuenciales por cada paso temporal (duplicando la latencia frente a una predicción paralela), y los muestreos Monte Carlo en tiempo de inferencia (p. ej., $N=10$) multiplican el costo computacional.
• Información del libro de órdenes / Nivel 2: El preentrenamiento se limita a barras OHLCVA; incorporar directamente en los embeddings datos tick-a-tick del libro de órdenes límite o sentimiento de noticias representa una vía de investigación abierta.