Kronos: Foundation Model untuk Bahasa Pasar Keuangan

Panduan membaca

Masalah dan motivasi

Dinamika pasar keuangan sebagian besar direkam melalui data candlestick (K-line) yang terdiri dari harga Open, High, Low, Close, serta Volume dan Amount ($D=6$, OHLCVA). Meskipun Time Series Foundation Models (TSFM) telah berkembang dalam peramalan umum, model-model tersebut sering kali kalah unggul dibandingkan arsitektur mendalam khusus yang non-pra-pelatihan (seperti iTransformer) pada tugas-tugas keuangan. Kinerja yang kurang optimal ini bersumber dari dua faktor:

1. K-line keuangan memiliki rasio sinyal-terhadap-derau (signal-to-noise ratio) yang rendah, ekor tebal (heavy tails), non-stasioneritas parah, serta keterikatan harga–volume yang erat, yang bertentangan dengan bias induktif temporal umum.
2. TSFM arus utama mengalokasikan kurang dari 1% (sering kali $<0.01\%$) data pelatihannya untuk keuangan, sehingga tujuan kuantitatif hilir yang kritis (seperti peramalan volatilitas, prediksi imbal hasil, dan pembuatan data sintetis) kurang terlayani dengan baik.

Kronos menjembatani kesenjangan ini sebagai foundation model terbuka yang khusus dilatih murni pada data pasar keuangan.

Ide-ide utama

• Discretize-and-Generate Language Modeling: Alih-alih memprediksi nilai float kontinu dengan tujuan regresi yang rentan terhadap pencilan (outliers) dan flash crash, Kronos mengkuantisasi observasi pasar kontinu ke dalam kosakata diskret, merumuskan prediksi sebagai pembuatan token berikutnya (next-token generation).
• Binary Spherical Quantization (BSQ): Mengadaptasi proyeksi hipersferis untuk memastikan distorsi rekonstruksi ekspektasian yang terbatas ($\Vert u-\hat{u}\Vert <\sqrt{2}$), menjaga informasi angular yang sensitif terhadap pergeseran struktur mikro berekor tebal sekaligus membatasi dampak pencilan.
• Dekomposisi Subtoken Hierarkis: Untuk menghindari beban memori dari kosakata berukuran $2^{20}$, Kronos membagi kode $k=20$ bit menjadi $n=2$ subtoken yang setara ($k_c=k_f=10$, sub-kosakata $2^{10}=1024$): subtoken kasar yang menangkap struktur global dan subtoken halus yang menyandikan detail residual.
• Pra-pelatihan Skala Besar: Dilatih awal pada korpus multi-aset terkurasi yang mencakup lebih dari 12 miliar observasi dari 45 bursa global di 7 granularitas temporal (dari 1 menit hingga mingguan).

Metode

Kronos beroperasi dalam dua fase yang berbeda:

1. Tokenisasi K-line Berbasis Instans

Setiap observasi multivariat kontinu ${\mathbf{x}}_t\in {\mathbb{R}}^6$ dipetakan ke kode diskret $b_t=[b_t^c,b_t^f]$ di mana $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. Tokenizer (enkoder-dekoder Transformer 3 lapis) dioptimalkan melalui: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ di mana ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$, dan ${\mathcal{L}}_{\text{quant}}$ adalah commitment loss BSQ serta regularisasi sferis.

2. Pemodelan Autoregresif Hierarkis

Transformer khusus dekoder ($E_{\text{ar}}$) dengan causal attention dan Rotary Position Embeddings (RoPE) memproses embedding token historis yang digabungkan: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ Dikondisikan pada hidden state ${\mathbf{h}}_t$, proses generasi diuraikan menggunakan aturan rantai (chain rule): $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Head kasar: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Head halus: Prediksi tersampel ${\hat{b}}_t^c$ memperbarui konteks melalui cross-attention: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ Total objektif pra-pelatihan adalah negative log-likelihood: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Hasil

Di tiga varian model (${\text{Kronos}}_{small}$ 24,7M, ${\text{Kronos}}_{base}$ 102,3M, ${\text{Kronos}}_{large}$ 499,2M):

• Peramalan Deret Harga: Pada 11 rangkaian pengujian aset global, ${\text{Kronos}}_{large}$ mencapai rata-rata IC 0,0440 dan RankIC 0,0267, mengungguli TSFM zero-shot terbaik (${\text{Time-MOE}}_{base}$: RankIC 0,0138, peningkatan 93%) dan model full-shot terbaik (TimesNet: RankIC 0,0143, peningkatan 87%).
• Peramalan Realized Volatility: ${\text{Kronos}}_{large}$ mencatat rata-rata MAE 0,0370 dan $R^2$ 0,2624, mengungguli baseline ekonometrika khusus (GARCH MAE 0,0405, penurunan galat sekitar 9%) serta TSFM.
• Pembangkitan Sintetis: Dalam skor klasifikasi diskriminatif, ${\text{Kronos}}_{large}$ mencapai 0,3048 (di mana 0,50 menunjukkan kondisi tidak dapat dibedakan), melampaui DiffusionTS (0,2504, peningkatan relatif 22% dalam fidelitas). Dalam Train-on-Synthetic, Test-on-Real (TSTR), urutan sintetis menghasilkan RankIC hilir yang lebih tinggi (0,0282 vs. 0,0102 untuk DiffusionTS).
• Simulasi Investasi (A-Shares Tiongkok): Dalam backtest pada semesta CSI 300 / CSI 800 dengan biaya transaksi (0,15%), ${\text{Kronos}}_{large}$ memberikan rata-rata Annualized Excess Return (AER) sebesar 20,84% dan Information Ratio (IR) sebesar 1,6491, melampaui seluruh 25 baseline.

Keterbatasan dan pertanyaan terbuka

• Panjang Konteks Maksimum: Dibatasi hingga 512 token karena kendala memori; meskipun penyelarasan multi-frekuensi memitigasi hal ini sebagian, penskalaan jendela konteks panjang (long-context window) masih belum dieksplorasi.
• Trade-off Latensi Inferensi: Faktorisasi 2-subtoken membutuhkan dua forward pass berurutan per langkah waktu (latensi $2\times$ lipat dibandingkan prediksi paralel), dan komputasi inferensi berlipat ganda saat menggunakan rollout Monte Carlo pada waktu pengujian (misalnya $N=10$).
• Informasi Order Book / L2: Pra-pelatihan masih terbatas pada bar OHLCVA; pengintegrasian buku pesanan limit (limit order book) level-tick atau sentimen berita secara langsung ke dalam token embedding tetap menjadi jalur penelitian terbuka.