Kronos: Um Modelo de Fundação para a Linguagem dos Mercados Financeiros

Guia de leitura

Problema e motivação

A dinâmica dos mercados financeiros é predominantemente capturada por meio de dados de candlestick (linha K) que compreendem os preços de Abertura (Open), Máxima (High), Mínima (Low) e Fechamento (Close), além do Volume e Montante ($D=6$, OHLCVA). Embora os Modelos de Fundação para Séries Temporais (TSFMs) tenham avançado na previsão geral, eles frequentemente apresentam desempenho inferior ao de arquiteturas profundas especializadas e não pré-treinadas (como o iTransformer) em tarefas financeiras. Esse desempenho inferior decorre de dois fatores:

1. As linhas K financeiras possuem baixas relações sinal-ruído, caudas pesadas, severa não estacionariedade e fortes acoplamentos preço-volume que entram em conflito com os vieses indutivos temporais genéricos.
2. Os TSFMs convencionais reservam menos de 1% (frequentemente $<0,01\%$) de seus dados de treinamento para finanças, deixando objetivos quantitativos essenciais downstream (como previsão de volatilidade, previsão de retorno e geração de dados sintéticos) desatendidos.

O Kronos preenche essa lacuna como um modelo de fundação aberto e dedicado, treinado puramente em dados de mercados financeiros.

Ideias centrais

• Modelagem de Linguagem por Discretização e Geração (Discretize-and-Generate): Em vez de prever valores contínuos em ponto flutuante com funções objetivo de regressão que são frágeis a outliers e flash crashes, o Kronos quantiza observações contínuas de mercado em um vocabulário discreto, estruturando a previsão como uma geração do próximo token.
• Binary Spherical Quantization (BSQ): A adaptação da projeção hiperesférica garante uma distorção esperada de reconstrução limitada ($\Vert u-\hat{u}\Vert <\sqrt{2}$), preservando a informação angular sensível a mudanças na microestrutura de cauda pesada enquanto restringe o impacto de outliers.
• Decomposição Hierárquica em Subtokens: Para evitar a sobrecarga de memória de um vocabulário de tamanho $2^{20}$, o Kronos divide um código de $k=20$ bits em $n=2$ subtokens iguais ($k_c=k_f=10$, subvocabulário de $2^{10}=1024$): um subtoken grosso (coarse) que captura a estrutura global e um subtoken fino (fine) que codifica os detalhes residuais.
• Pré-treinamento em Escala: Pré-treinado em um corpus curado de múltiplos ativos contendo mais de 12 bilhões de observações de 45 bolsas globais, abrangendo 7 granularidades temporais (de 1 minuto a semanal).

Método

O Kronos opera em duas fases distintas:

1. Tokenização de Linhas K Baseada em Instâncias

Cada observação contínua multivariada ${\mathbf{x}}_t\in {\mathbb{R}}^6$ é mapeada para um código discreto $b_t=[b_t^c,b_t^f]$, onde $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. O tokenizador (um codificador-decodificador Transformer de 3 camadas) é otimizado por meio de: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ onde ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$, e ${\mathcal{L}}_{\text{quant}}$ é a perda de compromisso da BSQ e de regularização esférica.

2. Modelagem Autorregressiva Hierárquica

Um Transformer apenas decodificador ($E_{\text{ar}}$) com atenção causal e Rotary Position Embeddings (RoPE) processa os embeddings fundidos de tokens históricos: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ Condicionada ao estado oculto ${\mathbf{h}}_t$, a geração se decompõe por meio da regra da cadeia: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Head grosso (coarse): $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Head fino (fine): Uma previsão amostrada ${\hat{b}}_t^c$ atualiza o contexto via atenção cruzada: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ O objetivo total de pré-treinamento é a log-verossimilhança negativa: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Resultados

Nas três variantes do modelo (${\text{Kronos}}_{small}$ de 24,7M, ${\text{Kronos}}_{base}$ de 102,3M e ${\text{Kronos}}_{large}$ de 499,2M):

• Previsão de Séries de Preços: Em suítes de teste de 11 classes de ativos globais, o ${\text{Kronos}}_{large}$ alcançou um IC médio de 0,0440 e um RankIC de 0,0267, superando o melhor TSFM zero-shot (${\text{Time-MOE}}_{base}$: RankIC de 0,0138, um ganho de 93%) e o melhor modelo com treinamento completo (TimesNet: RankIC de 0,0143, um ganho de 87%).
• Previsão de Volatilidade Realizada: O ${\text{Kronos}}_{large}$ alcançou um MAE médio de 0,0370 e um $R^2$ de 0,2624, superando linhas de base econométricas especializadas (GARCH com MAE de 0,0405, uma redução de erro aproximada de 9%) e outros TSFMs.
• Geração Sintética: Na métrica de classificação discriminativa, o ${\text{Kronos}}_{large}$ obteve 0,3048 (onde 0,50 indica indistinguibilidade), superando o DiffusionTS (0,2504, uma melhoria relativa de 22% em fidelidade). Na configuração Train-on-Synthetic, Test-on-Real (TSTR), as sequências sintéticas geraram um RankIC downstream maior (0,0282 contra 0,0102 do DiffusionTS).
• Simulação de Investimentos (Ações A Chinesas): Em backtests nos universos CSI 300 / CSI 800 com custos de transação (0,15%), o ${\text{Kronos}}_{large}$ entregou um Retorno Excessivo Anualizado (AER) médio de 20,84% e um Information Ratio (IR) de 1,6491, superando todas as 25 linhas de base.

Limitações e questões em aberto

• Comprimento Máximo de Contexto: Limitado a 512 tokens devido a restrições de memória; embora alinhamentos multifrequência amenizem parcialmente isso, o escalonamento para janelas de contexto longo permanece inexplorado.
• Compromisso de Latência na Inferência: A fatoração em 2 subtokens exige duas passagens diretas (forward passes) sequenciais por passo temporal (latência $2\times$ em comparação com a previsão paralela), e as iterações de Monte Carlo no momento do teste (ex.: $N=10$) multiplicam o custo computacional de inferência.
• Livro de Ofertas / Informações de Nível 2 (L2): O pré-treinamento é restrito a barras OHLCVA; integrar livros de ofertas no nível de tick ou o sentimento de notícias diretamente nos embeddings de tokens permanece como um caminho aberto de pesquisa.