Kronos: Ein Foundation Model für die Sprache der Finanzmärkte

Leseleitfaden

Problem und Motivation

Die Dynamik von Finanzmärkten wird überwiegend über Candlestick-Daten (K-Linien) erfasst, die Eröffnungs-, Höchst-, Tiefst- und Schlusskurse (Open, High, Low, Close) zusammen mit Volumen und Umsatz ($D=6$, OHLCVA) umfassen. Während Time Series Foundation Models (TSFMs) bei allgemeinen Vorhersageaufgaben Fortschritte gemacht haben, schneiden sie bei Finanzaufgaben häufig schlechter ab als spezialisierte, nicht vorab trainierte tiefe Architekturen (wie iTransformer). Diese Unterperformance resultiert aus zwei Faktoren:

1. Finanzielle K-Linien weisen ein niedriges Signal-Rausch-Verhältnis, Heavy Tails, ausgeprägte Nicht-Stationarität und enge Preis-Volumen-Kopplungen auf, die im Widerspruch zu generischen temporalen Inductive Biases stehen.
2. Mainstream-TSFMs reservieren weniger als 1 % (oft $<0,01\%$) ihrer Trainingsdaten für Finanzdaten, wodurch kritische nachgelagerte quantitative Zielsetzungen (wie Volatilitätsprognose, Renditevorhersage und synthetische Datengenerierung) zu kurz kommen.

Kronos schließt diese Lücke als dediziertes, offenes Foundation Model, das ausschließlich auf Finanzmarktdaten trainiert wurde.

Kernideen

• Discretize-and-Generate Language Modeling: Anstatt kontinuierliche Floats mit Regressionszielen vorherzusagen, die anfällig für Ausreißer und Flash Crashes sind, quantisiert Kronos kontinuierliche Marktbeobachtungen in ein diskretes Vokabular und formuliert die Vorhersage als Next-Token-Generierung.
• Binary Spherical Quantization (BSQ): Die Anpassung einer hypersphärischen Projektion gewährleistet eine begrenzte erwartete Rekonstruktionsverzerrung ($\Vert u-\hat{u}\Vert <\sqrt{2}$), wodurch Winkelinformationen erhalten bleiben, die empfindlich auf mikrostrukturelle Veränderungen mit schweren Verteilungsrändern (Fat Tails) reagieren, während der Einfluss von Ausreißern gedeckelt wird.
• Hierarchical Subtoken Decomposition: Um den Speicher-Overhead eines Vokabulars von $2^{20}$ zu vermeiden, unterteilt Kronos einen $k=20$-Bit-Code in $n=2$ gleiche Subtokens ($k_c=k_f=10$, Sub-Vokabular $2^{10}=1024$): ein grobes Subtoken, das die globale Struktur erfasst, und ein feines Subtoken, das residuale Details kodiert.
• Pre-Training in großem Maßstab: Vorab trainiert auf einem kuratierten Multi-Asset-Korpus mit über 12 Milliarden Beobachtungen von 45 globalen Börsen über 7 zeitliche Granularitäten hinweg (von 1 Minute bis wöchentlich).

Methode

Kronos operiert in zwei verschiedenen Phasen:

1. Instanzbasierte K-Linien-Tokenisierung

Jede kontinuierliche multivariate Beobachtung ${\mathbf{x}}_t\in {\mathbb{R}}^6$ wird auf einen diskreten Code $b_t=[b_t^c,b_t^f]$ abgebildet, wobei $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. Der Tokenizer (ein 3-Schichten-Transformer-Encoder-Decoder) wird optimiert über: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ wobei ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$ und ${\mathcal{L}}_{\text{quant}}$ der BSQ-Commitment- und sphärische Regularisierungsverlust ist.

2. Hierarchische autoregressive Modellierung

Ein Decoder-only Transformer ($E_{\text{ar}}$) mit kausaler Attention und Rotary Position Embeddings (RoPE) verarbeitet historische fusionierte Token-Embeddings: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ Konditioniert auf den verborgenen Zustand ${\mathbf{h}}_t$ wird die Generierung mithilfe der Kettenregel zerlegt: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Coarse Head: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Fine Head: Eine gesampelte Vorhersage ${\hat{b}}_t^c$ aktualisiert den Kontext via Cross-Attention: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ Das gesamte Pre-Training-Ziel ist die negative Log-Likelihood: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Ergebnisse

Über drei Modellvarianten hinweg (${\text{Kronos}}_{small}$ 24,7 Mio., ${\text{Kronos}}_{base}$ 102,3 Mio., ${\text{Kronos}}_{large}$ 499,2 Mio.):

• Preisreihenvorhersage: Auf Test-Suites von 11 globalen Anlageklassen erzielte ${\text{Kronos}}_{large}$ einen durchschnittlichen IC von 0,0440 und einen RankIC von 0,0267. Damit übertraf es das beste Zero-Shot-TSFM (${\text{Time-MOE}}_{base}$: RankIC 0,0138, ein Zuwachs von 93 %) und das beste Full-Shot-Modell (TimesNet: RankIC 0,0143, ein Zuwachs von 87 %).
• Vorhersage der realisierten Volatilität: ${\text{Kronos}}_{large}$ erreichte einen durchschnittlichen MAE von 0,0370 und ein $R^2$ von 0,2624, womit es spezialisierte ökonometrische Baselines (GARCH MAE 0,0405, eine Fehlerrate von ca. 9 % weniger) sowie TSFMs übertraf.
• Synthetische Generierung: Beim diskriminativen Klassifikationsscore erzielte ${\text{Kronos}}_{large}$ 0,3048 (wobei 0,50 Ununterscheidbarkeit bedeutet) und schlug damit DiffusionTS (0,2504, eine relative Verbesserung der Genauigkeit um 22 %). Im Train-on-Synthetic, Test-on-Real (TSTR)-Setup lieferten synthetische Sequenzen einen höheren nachgelagerten RankIC (0,0282 gegenüber 0,0102 bei DiffusionTS).
• Investitionssimulation (chinesische A-Aktien): In Backtests auf den Universen CSI 300 / CSI 800 unter Berücksichtigung von Transaktionskosten (0,15 %) erzielte ${\text{Kronos}}_{large}$ eine durchschnittliche Annualized Excess Return (AER) von 20,84 % und eine Information Ratio (IR) von 1,6491, was alle 25 Baselines übertraf.

Grenzen und offene Fragen

• Maximale Kontextlänge: Aufgrund von Speicherbeschränkungen auf 512 Tokens begrenzt; obwohl Multi-Frequenz-Alignments dies teilweise abmildern, bleibt die Skalierung auf lange Kontextfenster unerforscht.
• Kompromiss bei der Inferenzlatenz: Die Faktorisierung in 2 Subtokens erfordert zwei sequentielle Forward-Passes pro Zeitschritt ($2\times$ Latenz im Vergleich zur parallelen Vorhersage), und Monte-Carlo-Rollouts zur Testzeit (z. B. $N=10$) vervielfachen den Rechenaufwand bei der Inferenz.
• Orderbuch- / L2-Informationen: Das Pre-Training ist auf OHLCVA-Bars beschränkt; die direkte Integration von Limit-Orderbüchern auf Tick-Ebene oder von News-Sentiment in Token-Embeddings bleibt eine offene Forschungsrichtung.