Kronos：金融市場語言的基礎模型

論文解讀

問題與動機

金融市場動態主要透過包含開盤價、最高價、最低價、收盤價以及成交量和成交額（$D=6$，OHLCVA）的蠟燭圖（K 線）資料來記錄。雖然時間序列基礎模型（TSFM）在一般預測方面取得了進展，但它們在金融任務上的表現經常不如專門的、非預訓練的深度架構（例如 iTransformer）。這種效能不佳源於兩個因素：

1. 金融 K 線具有低訊噪比、厚尾性、嚴重的非定態性以及緊密的價量耦合，這些特能與通用的時間歸納偏置（inductive bias）相衝突。
2. 主流 TSFM 保留給金融領域的訓練資料不足 1%（通常 $<0.01\%$），導致關鍵的下游量化目標（例如波動度預測、報酬率預測和合成資料生成）缺乏支援。

Kronos 作為專門針對金融市場資料訓練的開放基礎模型，填補了這一空白。

核心理念

• 離散化並生成的語言建模（Discretize-and-Generate Language Modeling）：Kronos 並非使用對極端值和閃崩極為脆弱的回歸目標來預測連續浮點數，而是將連續的市場觀測值量化為離散詞表，將預測建構成次標記生成（next-token generation）任務。
• 二元球面量化（Binary Spherical Quantization, BSQ）：採用超球面投影可確保有界的期望重建失真（$\Vert u-\hat{u}\Vert <\sqrt{2}$），保留對肥尾微觀結構變化敏感的角度資訊，同時限制離群值的影響。
• 階層式子標記分解（Hierarchical Subtoken Decomposition）：為了避免 $2^{20}$ 詞表的記憶體負擔，Kronos 將 $k=20$ 位元的代碼拆分為 $n=2$ 個相等的子標記（$k_c=k_f=10$，子詞表大小為 $2^{10}=1024$）：粗粒度子標記捕捉全域結構，細粒度子標記編碼殘差細節。
• 大規模預訓練：在精選的多資產語料庫上進行預訓練，該語料庫包含來自 45 個全球交易所、涵蓋 7 種時間粒度（從 1 分鐘到週線）的超過 120 億筆觀測值。

方法

Kronos 的運作分為兩個不同階段：

1. 基於實例的 K 線標記化（Instance-Based K-line Tokenization）

每個連續的多變量觀測值 ${\mathbf{x}}_t\in {\mathbb{R}}^6$ 都被映射到一個離散代碼 $b_t=[b_t^c,b_t^f]$，其中 $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$。標記器（3 層 Transformer 編碼器-解碼器）透過以下目標進行最佳化： $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ 其中 ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$，${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$，而 ${\mathcal{L}}_{\text{quant}}$ 為 BSQ 承諾與球面正則化損失。

2. 階層式自迴歸建模（Hierarchical Autoregressive Modeling）

具有因果注意力（causal attention）和旋轉位置嵌入（RoPE）的僅解碼器 Transformer（$E_{\text{ar}}$）負責處理歷史融合標記嵌入： $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ 在給定隱藏狀態 ${\mathbf{h}}_t$ 的條件下，生成過程透過連鎖律進行分解： $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• 粗粒度標頭（Coarse head）：$p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$。
• 細粒度標頭（Fine head）：採樣出的預測值 ${\hat{b}}_t^c$ 透過交叉注意力更新上下文： $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ 總預訓練目標為負對數似然（negative log-likelihood）： $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

結果

涵蓋三種模型變體（${\text{Kronos}}_{small}$ 24.7M、${\text{Kronos}}_{base}$ 102.3M、${\text{Kronos}}_{large}$ 499.2M）：

• 價格序列預測：在 11 個全球資產測試套裝中，${\text{Kronos}}_{large}$ 取得了 0.0440 的平均 IC 和 0.0267 的 RankIC，優於最佳的 zero-shot TSFM（${\text{Time-MOE}}_{base}$：RankIC 0.0138，提升 93%）和最佳的 full-shot 模型（TimesNet：RankIC 0.0143，提升 87%）。
• 實現波動度預測：${\text{Kronos}}_{large}$ 達到了 0.0370 的平均 MAE 和 0.2624 的 $R^2$，優於專門的計量經濟學基準（GARCH 的 MAE 為 0.0405，誤差減少約 9%）以及各類 TSFM。
• 合成資料生成：在判別分類分數（discriminative classification score）中，${\text{Kronos}}_{large}$ 達到了 0.3048（其中 0.50 代表無法區分），超越了 DiffusionTS（0.2504，保真度相對提升 22%）。在「合成訓練、真實測試」（TSTR）評估中，合成序列產生了更高的下游 RankIC（0.0282，而 DiffusionTS 為 0.0102）。
• 投資模擬（中國 A 股）：在考慮交易成本（0.15%）的情況下對滬深 300 / 中證 800 成分股進行回測，${\text{Kronos}}_{large}$ 實現了 20.84% 的平均年化超額報酬（AER）與 1.6491 的資訊比率（IR），超越了所有 25 個基準模型。

限制與開放問題

• 最大上下文長度：受限於記憶體限制，上下文上限為 512 個標記；儘管多頻率對齊在一定程度上緩解了此問題，但長上下文視窗的擴展仍有待探索。
• 推論延遲權衡：2-子標記分解在每個時間步需要兩次依序前向傳遞（延遲為平行預測的 2 倍），且測試階段的蒙地卡羅推演（例如 $N=10$）會成倍增加推論運算量。
• 委託簿（Order Book）/ L2 資訊：預訓練僅限於 OHLCVA bar；將 tick 等級的限價委託簿或新聞情緒直接整合到標記嵌入中仍是一個待探索的研究方向。