Kronos : un modèle de fondation pour le langage des marchés financiers

Guide de lecture

Problème et motivation

La dynamique des marchés financiers est principalement capturée via des données en chandeliers (K-lines) comprenant les prix d'ouverture, le plus haut, le plus bas, la clôture, ainsi que le volume et le montant ($D=6$, OHLCVA). Bien que les modèles de fondation pour séries temporelles (TSFM) aient progressé dans la prévision générale, ils sous-performent fréquemment face à des architectures profondes spécialisées et non pré-entraînées (comme iTransformer) sur les tâches financières. Cette sous-performance découle de deux facteurs :

1. Les K-lines financières possèdent de faibles ratios signal/bruit, des queues lourdes, une forte non-stationnarité et des couplages prix-volume étroits qui entrent en conflit avec les biais inductifs temporels génériques.
2. Les TSFM grand public réservent moins de 1 % (souvent $<0,01\%$) de leurs données d'entraînement à la finance, laissant de côté des objectifs quantitatifs cruciaux en aval (tels que la prévision de la volatilité, la prédiction des rendements et la génération de données synthétiques).

Kronos comble cette lacune en tant que modèle de fondation dédié et ouvert, entraîné exclusivement sur des données de marchés financiers.

Idées clés

• Modélisation du langage par discrétisation et génération : Plutôt que de prédire des valeurs continues avec des objectifs de régression fragiles face aux valeurs aberrantes et aux krachs éclairs (flash crashes), Kronos quantifie les observations continues du marché dans un vocabulaire discret, formulant la prédiction comme une génération du prochain token.
• Binary Spherical Quantization (BSQ) : L'adaptation de la projection hypersphérique garantit une distorsion de reconstruction espérée bornée ($\Vert u-\hat{u}\Vert <\sqrt{2}$), préservant les informations angulaires sensibles aux variations de microstructure à queues lourdes tout en plafonnant l'impact des valeurs aberrantes.
• Décomposition hiérarchique en sous-tokens : Pour éviter le coût mémoire d'un vocabulaire de taille $2^{20}$, Kronos divise un code de $k=20$ bits en $n=2$ sous-tokens égaux ($k_c=k_f=10$, sous-vocabulaire de $2^{10}=1024$) : un sous-token grossier capturant la structure globale et un sous-token fin encodant les détails résiduels.
• Pré-entraînement à grande échelle : Pré-entraîné sur un corpus multi-actifs sélectionné contenant plus de 12 milliards d'observations provenant de 45 bourses mondiales, couvrant 7 granularités temporelles (de 1 minute à la semaine).

Méthode

Kronos fonctionne en deux phases distinctes :

1. Tokenisation des K-lines par instance

Chaque observation multivariée continue ${\mathbf{x}}_t\in {\mathbb{R}}^6$ est projetée vers un code discret $b_t=[b_t^c,b_t^f]$ où $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. Le tokenizer (un encodeur-décodeur Transformer à 3 couches) est optimisé via : $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ où ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$, et ${\mathcal{L}}_{\text{quant}}$ correspond à la perte d'engagement BSQ et de régularisation sphérique.

2. Modélisation autorégressive hiérarchique

Un Transformer décodeur seul ($E_{\text{ar}}$) avec attention causale et Rotary Position Embeddings (RoPE) traite les plongements de tokens historiques fusionnés : $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ Conditionnée par l'état caché ${\mathbf{h}}_t$, la génération se décompose via la règle de dérivation en chaîne : $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Tête grossière (coarse) : $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Tête fine : Une prédiction échantillonnée ${\hat{b}}_t^c$ met à jour le contexte via une attention croisée : $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ L'objectif total de pré-entraînement est la log-vraisemblance négative : $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Résultats

À travers trois variantes du modèle (${\text{Kronos}}_{small}$ 24,7M, ${\text{Kronos}}_{base}$ 102,3M, ${\text{Kronos}}_{large}$ 499,2M) :

• Prévision des séries de prix : Sur 11 suites de tests d'actifs mondiaux, ${\text{Kronos}}_{large}$ a obtenu un IC moyen de 0,0440 et un RankIC de 0,0267, surpassant le meilleur TSFM zero-shot (${\text{Time-MOE}}_{base}$ : RankIC 0,0138, soit un gain de 93 %) et le meilleur modèle full-shot (TimesNet : RankIC 0,0143, soit un gain de 87 %).
• Prévision de la volatilité réalisée : ${\text{Kronos}}_{large}$ a atteint une MAE moyenne de 0,0370 et un $R^2$ de 0,2624, surpassant les références économétriques spécialisées (GARCH MAE 0,0405, une réduction d'erreur d'environ 9 %) ainsi que les TSFM.
• Génération synthétique : En score de classification discriminative, ${\text{Kronos}}_{large}$ a obtenu 0,3048 (où 0,50 correspond à l'indiscernabilité), devançant DiffusionTS (0,2504, soit une amélioration relative de fidélité de 22 %). Dans le cadre Train-on-Synthetic, Test-on-Real (TSTR), les séquences synthétiques ont produit un RankIC supérieur en aval (0,0282 contre 0,0102 pour DiffusionTS).
• Simulation d'investissement (actions chinoises de classe A) : Lors de backtests sur les univers CSI 300 / CSI 800 avec frais de transaction (0,15 %), ${\text{Kronos}}_{large}$ a généré un rendement excédentaire annualisé moyen (AER) de 20,84 % et un ratio d'information (IR) de 1,6491, dépassant les 25 modèles de référence.

Limites et questions ouvertes

• Longueur maximale du contexte : Plafonnée à 512 tokens en raison de contraintes mémoire ; bien que les alignements multifréquences atténuent partiellement ce problème, le passage à l'échelle sur des fenêtres de contexte plus longues reste à explorer.
• Compromis sur la latence d'inférence : La factorisation à 2 sous-tokens nécessite deux passes avant séquentielles par pas de temps (latence multipliée par 2 par rapport à une prédiction parallèle), et les déploiements Monte Carlo au moment du test (ex. $N=10$) multiplient le coût de calcul à l'inférence.
• Informations du carnet d'ordres / L2 : Le pré-entraînement est limité aux barres OHLCVA ; l'intégration des carnets d'ordres limites au niveau du tick ou du sentiment des actualités directement dans les plongements de tokens constitue une piste de recherche ouverte.