Kronos: 金融市場の言語のための基盤モデル

論文解説

課題と動機

金融市場のダイナミクスは、主に始値、高値、安値、終値に出来高と売買代金を加えたローソク足（K-line）データ（$D=6$、OHLCVA）によって捉えられます。時系列基盤モデル（TSFM）は一般的な予測タスクで進歩を遂げていますが、金融タスクにおいては、特殊化された非事前学習型のディープラーニングアーキテクチャ（iTransformerなど）に劣ることが頻繁にあります。この性能不足は主に2つの要因に起因します。

1. 金融K-lineは、S/N比が低く、裾が重い分布特性（ファットテール）、極端な非定常性、価格と出来高の強い連動性（価格–出来高カップリング）を持っており、これが汎用的な時間的帰納バイアスと衝突すること。
2. 主流のTSFMでは訓練データ全体に占める金融データの割合が1%未満（多くは0.01%未満）にとどまり、ボラティリティ予測、リターン予測、合成データ生成といった重要な定量的ダウンストリーム目的関数への適合が不十分であること。

Kronosは、純粋に金融市場データのみで訓練された専用のオープン基盤モデルとして、このギャップを埋めるものです。

主要なアイデア

• 離散化と生成による言語モデリング（Discretize-and-Generate Language Modeling）: 外れ値やフラッシュクラッシュに脆弱な回帰目的関数で連続的な浮動小数点数を予測するのではなく、Kronosは連続的な市場観測値を離散的な語彙へと量子化し、予測を次トークン生成として再構成します。
• Binary Spherical Quantization (BSQ): 超球面射影を適用することで期待再構成歪みの有界性（$\Vert u-\hat{u}\Vert <\sqrt{2}$）を保証し、ファットテールなマイクロストラクチャの変化に敏感な角度情報を維持しながら、外れ値の影響を抑制します。
• 階層的サブトークン分解（Hierarchical Subtoken Decomposition）: $2^{20}$ という巨大な語彙によるメモリオーバーヘッドを回避するため、Kronosは $k=20$ ビットのコードを $n=2$ 個の等しいサブトークン（$k_c=k_f=10$、サブ語彙サイズ $2^{10}=1024$）に分割します。大局的な構造を捉えるcoarseサブトークンと、残差の詳細をエンコードするfineサブトークンです。
• 大規模事前学習: 1分足から週足まで7つの時間粒度にまたがる、世界45取引所の120億件以上の観測値からなる精選されたマルチアセットコーパスで事前学習を行っています。

手法

Kronosは主に2つのフェーズで動作します。

1. インスタンスベースのK-lineトークナイゼーション

各連続多変量観測値 ${\mathbf{x}}_t\in {\mathbb{R}}^6$ は、離散コード $b_t=[b_t^c,b_t^f]$（ここで $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$）へとマッピングされます。トークナイザー（3層のTransformerエンコーダー・デコーダー）は以下のように最適化されます。 $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ ここで ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$、${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$ であり、${\mathcal{L}}_{\text{quant}}$ はBSQコミットメントおよび球面正則化損失です。

2. 階層的自己回帰モデリング

因果的アテンション（causal attention）とRotary Position Embeddings（RoPE）を備えたデコーダーオンリーTransformer（$E_{\text{ar}}$）が、過去の融合トークン埋め込みを処理します。 $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ 隠れ状態 ${\mathbf{h}}_t$ を条件として、生成は連鎖律を用いて分解されます。 $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Coarseヘッド: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$
• Fineヘッド: サンプリングされた予測値 ${\hat{b}}_t^c$ がクロスアテンションを介してコンテキストを更新します。 $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ 全体の事前学習目的関数は負の対数尤度となります。 $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

実験結果

3つのモデルバリアント（${\text{Kronos}}_{small}$ 24.7M、${\text{Kronos}}_{base}$ 102.3M、${\text{Kronos}}_{large}$ 499.2M）で評価を実施しました。

• 価格系列予測: 11のグローバルアセットテストスイートにおいて、${\text{Kronos}}_{large}$ は平均IC 0.0440、RankIC 0.0267を達成し、最良のゼロショットTSFM（${\text{Time-MOE}}_{base}$: RankIC 0.0138、93%向上）および最良のフルショットモデル（TimesNet: RankIC 0.0143、87%向上）を上回りました。
• 実現ボラティリティ予測: ${\text{Kronos}}_{large}$ は平均MAE 0.0370、$R^2$ 0.2624を達成し、計量経済学の専門ベースライン（GARCH MAE 0.0405、約9%のエラー削減）や他のTSFMを凌駕しました。
• 合成データ生成: 識別分類スコア（0.50が見分けがつかない状態）において、${\text{Kronos}}_{large}$ は0.3048を記録し、DiffusionTS（0.2504、忠実度が相対的に22%向上）を上回りました。Train-on-Synthetic, Test-on-Real (TSTR) では、合成系列がより高いダウンストリームRankICをもたらしました（DiffusionTSの0.0102に対し0.0282）。
• 投資シミュレーション（中国A株）: 取引コスト（0.15%）を考慮したCSI 300 / CSI 800ユニバースでのバックテストにおいて、${\text{Kronos}}_{large}$ は平均年率超過リターン（AER）20.84%、インフォメーション・レシオ（IR）1.6491を記録し、25種類のベースラインすべてを上回りました。

限界と今後の課題

• 最大コンテキスト長: メモリの制約から512トークンに制限されています。マルチ周波数アライメントによって部分的には緩和されるものの、長文コンテキストウィンドウのスケーリングは未解明のままです。
• 推論レイテンシのトレードオフ: 2つのサブトークンへの分解により、タイムステップごとに2回のシーケンシャルなフォワードパスが必要となり（並列予測と比較してレイテンシが2倍）、テスト時のモンテカルロロールアウト（例: $N=10$）は推論計算量をさらに増加させます。
• オーダーブック / L2情報: 事前学習はOHLCVAバーに限定されています。板情報（L2リミットオーダーブック）やニュースセンチメントなどをトークン埋め込みに直接統合することは、今後の重要な研究課題です。