Kronos：金融市场语言的基础模型

论文解读

问题与动机

金融市场的动态变化主要通过由开盘价、最高价、最低价、收盘价以及成交量和成交额（$D=6$，OHLCVA）构成的K线数据来记录。尽管时间序列基础模型（TSFM）在通用预测任务中取得了长足进步，但它们在金融任务上的表现往往逊于专门设计的非预训练深度架构（例如 iTransformer）。这种性能落后源于两个因素：

1. 金融K线具有信噪比低、重尾分布、强非平稳性以及紧密的价量耦合等特征，这些特征与通用的时间归纳偏置相冲突。
2. 主流TSFM在其训练数据中为金融领域预留的数据不足1%（往往 $<0.01\%$），导致波动率预测、收益率预测和合成数据生成等关键下游量化目标得不到充分建模。

Kronos填补了这一空白，它是一个完全基于金融市场数据进行训练的专用开源基础模型。

核心思想

• 离散化与生成式语言建模：Kronos没有采用对离群值和闪崩极为脆弱的连续浮点数回归目标进行预测，而是将连续的市场观测值量化为离散词表，将预测任务重新构建为next-token生成。
• 二值超球面量化（BSQ）：引入超球面投影，确保重建失真期望有界（$\Vert u-\hat{u}\Vert <\sqrt{2}$），在保留对肥尾微观结构变化敏感的角向信息的同时，限制极端离群值的影响。
• 分层Subtoken分解：为避免 $2^{20}$ 庞大词表带来的内存开销，Kronos将 $k=20$ 位的编码拆分为 $n=2$ 个相等的subtoken（$k_c=k_f=10$，子词表大小为 $2^{10}=1024$）：其中粗subtoken捕获全局结构，细subtoken编码残差细节。
• 大规模预训练：在一个精选的多资产语料库上完成预训练，该语料库包含来自45个全球交易所、跨越7种时间粒度（从1分钟到周线）的超过120亿条观测数据。

方法

Kronos分两个阶段运行：

1. 基于实例的K线分词（Tokenization）

每个连续的多变量观测值 ${\mathbf{x}}_t\in {\mathbb{R}}^6$ 被映射为一个离散编码 $b_t=[b_t^c,b_t^f]$，其中 $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$。该分词器（一个3层Transformer编解码器）通过以下目标函数进行优化： $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ 其中 ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$，${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$，且 ${\mathcal{L}}_{\text{quant}}$ 为BSQ承诺损失（commitment loss）与超球面正则化损失。

2. 分层自回归建模

一个采用因果注意力（causal attention）和旋转位置嵌入（RoPE）的Decoder-only Transformer架构（$E_{\text{ar}}$）处理历史融合token嵌入： $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ 在隐状态 ${\mathbf{h}}_t$ 的条件下，根据链式法则对生成过程进行分解： $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• 粗预测头（Coarse head）：$p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$。
• 细预测头（Fine head）：采样出的预测值 ${\hat{b}}_t^c$ 通过交叉注意力更新上下文： $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ 整体预训练目标为负对数似然： $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

实验结果

在三种模型变体（${\text{Kronos}}_{small}$ 24.7M、${\text{Kronos}}_{base}$ 102.3M、${\text{Kronos}}_{large}$ 499.2M）上的评测显示：

• 价格序列预测：在11个全球资产测试集上，${\text{Kronos}}_{large}$ 取得了0.0440的平均IC和0.0267的RankIC，优于最佳零样本TSFM（${\text{Time-MOE}}_{base}$：RankIC 0.0138，提升93%）和最佳全样本模型（TimesNet：RankIC 0.0143，提升87%）。
• 已实现波动率预测：${\text{Kronos}}_{large}$ 取得了0.0370的平均MAE和0.2624的 $R^2$，超越了专用计量经济学基线（GARCH MAE 0.0405，误差降低约9%）及其他TSFM。
• 合成数据生成：在判别式分类得分上，${\text{Kronos}}_{large}$ 达到0.3048（0.50代表无法区分），优于 DiffusionTS（0.2504，保真度相对提升22%）。在“合成数据训练，真实数据测试”（TSTR）实验中，合成序列带来了更高的下游RankIC（0.0282 vs. DiffusionTS的0.0102）。
• 投资模拟实测（中国A股）：在计入交易成本（0.15%）的沪深300 / 中证800股票池回测中，${\text{Kronos}}_{large}$ 取得了20.84%的年化超额收益率（AER）和1.6491的信息比率（IR），超越全部25个基线模型。

局限性与开放问题

• 最大上下文长度：受内存限制上限为512个token；尽管多频对齐策略在一定程度上缓解了该问题，但长上下文窗口的扩展仍待探索。
• 推理延迟权衡：2-subtoken分解要求每个时间步进行两次串行前向传播（与并行预测相比延迟翻倍），且测试时蒙特卡洛多路径采样（例如 $N=10$）会成倍增加推理算力。
• 订单簿 / L2信息：预训练仅限于OHLCVA K线；如何将逐笔订单簿或新闻舆情数据直接融入token嵌入仍是一个开放的研究方向。