Kronos: Finansal Piyasaların Dili İçin Bir Temel Model

Okuma rehberi

Problem ve motivasyon

Finansal piyasa dinamikleri ağırlıklı olarak Açılış, Yüksek, Düşük, Kapanış fiyatlarının yanı sıra Hacim ve İşlem Tutarı ($D=6$, OHLCVA) içeren mum grafiği (K-çizgisi) verileri aracılığıyla yakalanır. Zaman Serisi Temel Modelleri (TSFM'ler) genel tahminleme alanında ilerleme kaydetmiş olsa da finansal görevlerde iTransformer gibi özelleşmiş ve önceden eğitilmemiş derin mimarilerin sıklıkla gerisinde kalmaktadır. Bu düşük performans iki nedenden kaynaklanmaktadır:

1. Finansal K-çizgileri, genel zamansal indüktif eğilimlerle çelişen düşük sinyal-gürültü oranlarına, kalın kuyruklara, ciddi durağan olmama durumuna ve sıkı fiyat-hacim eşleşmelerine sahiptir.
2. Ana akım TSFM'ler eğitim verilerinin %1'inden daha azını (genellikle $<\%0.01$) finansa ayırmakta; bu da volatilite tahmini, getiri tahmini ve sentetik veri üretimi gibi kritik alt nicel hedefleri yetersiz bırakmaktadır.

Kronos, tamamen finansal piyasa verileri üzerinde eğitilmiş özel ve açık bir temel model olarak bu boşluğu doldurmaktadır.

Temel fikirler

• Ayrıklaştır-ve-Üret Dil Modellemesi (Discretize-and-Generate): Kronos, aykırı değerlere ve ani çöküşlere (flash crash) karşı hassas olan regresyon hedefleriyle sürekli kayan nokta değerlerini tahmin etmek yerine, sürekli piyasa gözlemlerini ayrık bir sözlüğe nicemler ve tahmini sonraki belirtecin üretilmesi olarak yapılandırır.
• İkili Küresel Nicemleme (Binary Spherical Quantization - BSQ): Hiperküresel izdüşümün uyarlanması, sınırlı bir beklenen yeniden yapılandırma distorsiyonu ($\text{bound}u-\hat{u}<\sqrt{2}$) sağlayarak aykırı değer etkisini sınırlar ve kalın kuyruklu mikroyapı değişimlerine duyarlı açısal bilgileri korur.
• Hiyerarşik Alt Belirteç Ayrıştırması (Hierarchical Subtoken Decomposition): Kronos, $2^{20}$ boyutundaki bir sözlüğün bellek yükünden kaçınmak için $k=20$ bitlik bir kodu $n=2$ eşit alt belirtece böler ($k_c=k_f=10$, alt sözlük boyutu $2^{10}=1024$): küresel yapıyı yakalayan kaba bir alt belirteç ve artık ayrıntıları kodlayan ince bir alt belirteç.
• Ölçekli Ön Eğitim: 7 zamansal tanecik boyutunu (1 dakikadan haftalığa kadar) kapsayan ve 45 küresel borsadan toplanan 12 milyardan fazla gözlemi içeren, titizlikle derlenmiş çoklu varlık külliyatı üzerinde önceden eğitilmiştir.

Yöntem

Kronos iki ayrı aşamada çalışır:

1. Örnek Tabanlı K-çizgisi Belirteçleme

Her sürekli çok değişkenli gözlem ${\mathbf{x}}_t\in {\mathbb{R}}^6$, $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$ olmak üzere ayrık bir $b_t=[b_t^c,b_t^f]$ koduna eşlenir. Belirteçleyici (3 katmanlı bir Transformer kodlayıcı-kod çözücü) şu işlevle optimize edilir: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ Burada ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$ şeklindedir ve ${\mathcal{L}}_{\text{quant}}$ terimi BSQ bağlılık (commitment) ile küresel düzenlileştirme kaybını ifade eder.

2. Hiyerarşik Otoregresif Modelleme

Nedensel dikkat mekanizmasına ve Döner Konum Gömme Katmanlarına (RoPE) sahip yalnızca kod çözücü tabanlı bir Transformer ($E_{\text{ar}}$), geçmiş birleştirilmiş belirteç gömmelerini işler: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ Gizli durum ${\mathbf{h}}_t$'ye koşullanmış üretim, zincir kuralı kullanılarak ayrıştırılır: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Kaba başlık: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• İnce başlık: Örneklenmiş bir ${\hat{b}}_t^c$ tahmini, bağlamı çapraz dikkat (cross-attention) yoluyla günceller: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ Toplam ön eğitim hedefi negatif log-olabilirliktir: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Sonuçlar

Üç model varyantı genelinde (${\text{Kronos}}_{small}$ 24.7M, ${\text{Kronos}}_{base}$ 102.3M, ${\text{Kronos}}_{large}$ 499.2M):

• Fiyat Serisi Tahmini: 11 küresel varlık test paketinde ${\text{Kronos}}_{large}$, ortalama 0.0440 IC ve 0.0267 RankIC elde ederek en iyi sıfır vuruşlu TSFM'yi (${\text{Time-MOE}}_{base}$: RankIC 0.0138, %93 kazanç) ve tam vuruşlu (full-shot) en iyi modeli (TimesNet: RankIC 0.0143, %87 kazanç) geride bırakmıştır.
• Gerçekleşen Volatilite Tahmini: ${\text{Kronos}}_{large}$, ortalama 0.0370 MAE ve 0.2624 $R^2$ değerine ulaşarak özel ekonometrik modelleri (GARCH MAE 0.0405, yaklaşık %9 hata azalması) ve TSFM'leri geçmiştir.
• Sentetik Üretim: Ayrımcı sınıflandırma puanında ${\text{Kronos}}_{large}$, 0.3048 değerini yakalayarak (0.50 ayırt edilemezliği gösterir) DiffusionTS modelini geride bırakmıştır (0.2504, aslına uygunlukta %22 bağıl iyileşme). Sentetikte Eğit-Gerçekte Test Et (TSTR) protokolünde, sentetik diziler daha yüksek alt RankIC (DiffusionTS için 0.0102'ye kıyasla 0.0282) sağlamıştır.
• Yatırım Simülasyonu (Çin A-Hisseleri): CSI 300 / CSI 800 evrenlerinde işlem maliyetleri (%0.15) dahil edilerek yapılan geriye dönük testlerde (backtest), ${\text{Kronos}}_{large}$ %20.84 ortalama Yıllıklandırılmış Fazla Getiri (AER) ve 1.6491 Bilgi Oranı (IR) sağlayarak 25 temel modelin tamamını aşmıştır.

Kısıtlamalar ve açık sorular

• Maksimum Bağlam Uzunluğu: Bellek kısıtlamaları nedeniyle 512 belirteçle sınırlandırılmıştır; çoklu frekans hizalamaları bunu kısmen hafifletse de uzun bağlam penceresi ölçeklendirmesi henüz araştırılmamıştır.
• Çıkarım Gecikmesi Dengesi (Trade-off): 2 alt belirteçli çarpanlara ayırma yöntemi, zaman adımı başına iki sıralı ileri geçiş gerektirir (paralel tahmine kıyasla $2\times$ gecikme); ayrıca test zamanı Monte Carlo simülasyonları (örneğin $N=10$) çıkarım hesaplama maliyetini katlar.
• Emir Defteri / L2 Bilgisi: Ön eğitim OHLCVA çubuklarıyla sınırlıdır; işlem seviyesindeki limit emir defterlerini veya haber duyarlılığını doğrudan belirteç gömmelerine entegre etmek açık bir araştırma konusu olmaya devam etmektedir.