Kronos: 금융 시장 언어를 위한 파운데이션 모델

논문 해설

문제 및 동기

금융 시장 역학은 주로 시가, 고가, 저가, 종가 및 거래량과 거래대금($D=6$, OHLCVA)으로 구성된 캔들스틱(K-line) 데이터를 통해 캡처됩니다. 시계열 파운데이션 모델(TSFM)이 일반적인 예측 분야에서 발전해 왔지만, 금융 태스크에서는 iTransformer와 같은 특화된 비사전 학습 딥 아키텍처보다 성능이 뒤처지는 경우가 많습니다. 이러한 성능 저하는 두 가지 요인에서 기인합니다:

1. 금융 K-line은 신호 대 잡음비가 낮고, 팻 테일(heavy tail), 심각한 비정상성을 보이며, 가격-거래량 간의 밀접한 결합을 가지고 있어 일반적인 시계열 유도 편향(inductive bias)과 상충합니다.
2. 주류 TSFM은 학습 데이터 중 금융 데이터 비중이 1% 미만(종종 $<0.01\%$)에 불과하여 변동성 예측, 수익률 예측, 합성 데이터 생성과 같은 중요한 다운스트림 퀀트 목적을 제대로 지원하지 못합니다.

Kronos는 순수 금융 시장 데이터만을 집중 학습한 오픈 파운데이션 모델로서 이러한 간극을 메웁니다.

핵심 아이디어

• 이산화 및 생성 언어 모델링(Discretize-and-Generate Language Modeling): 이상치나 플래시 크래시(flash crash)에 취약한 회귀 목적 함수로 연속형 부동소수점을 예측하는 대신, 연속적인 시장 관측치를 이산 어휘로 양자화하여 예측을 다음 토큰 생성 문제로 정형화합니다.
• Binary Spherical Quantization (BSQ): 초구면(hyperspherical) 투영을 적용하여 예상 재구성 왜곡의 상한($\Vert u-\hat{u}\Vert <\sqrt{2}$)을 보장함으로써, 이상치의 영향을 제한하면서도 팻 테일 미세구조 변화에 민감한 각도 정보를 보존합니다.
• 계층적 서브토큰 분해(Hierarchical Subtoken Decomposition): $2^{20}$ 크기의 어휘가 야기하는 메모리 오버헤드를 피하기 위해, Kronos는 $k=20$ 비트 코드를 $n=2$개의 동일한 서브토큰($k_c=k_f=10$, 서브 어휘 크기 $2^{10}=1024$)으로 분할합니다. 즉, 전체 구조를 포착하는 coarse 서브토큰과 잔차 디테일을 인코딩하는 fine 서브토큰으로 나눕니다.
• 대규모 사전 학습: 7개 시계열 세분성(1분 단위부터 주 단위까지)에 걸쳐 45개 글로벌 거래소의 120억 개 이상 관측치를 담은 정제된 멀티 자산 코퍼스로 사전 학습되었습니다.

방법론

Kronos는 두 가지 독립적인 단계로 작동합니다:

1. 인스턴스 기반 K-line 토큰화

각 연속형 다변량 관측치 ${\mathbf{x}}_t\in {\mathbb{R}}^6$는 이산 코드 $b_t=[b_t^c,b_t^f]$로 매핑되며, 여기서 $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$입니다. 토크나이저(3-레이어 Transformer 인코더-디코더)는 다음 식을 통해 최적화됩니다: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ 여기서 ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$이며, ${\mathcal{L}}_{\text{quant}}$는 BSQ 커밋먼트 및 구면 정규화 손실입니다.

2. 계층적 자기회귀 모델링

인과적 어텐션과 Rotary Position Embeddings (RoPE)를 갖춘 디코더 전용 Transformer($E_{\text{ar}}$)가 과거의 융합된 토큰 임베딩을 처리합니다: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ 은닉 상태 ${\mathbf{h}}_t$ 조건부에서 생성은 연쇄 법칙에 따라 분해됩니다: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Coarse 헤드: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Fine 헤드: 샘플링된 예측 ${\hat{b}}_t^c$가 교차 어텐션을 통해 컨텍스트를 업데이트합니다: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ 전체 사전 학습 목적 함수는 음의 로그 우도입니다: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

결과

세 가지 모델 변형(${\text{Kronos}}_{small}$ 24.7M, ${\text{Kronos}}_{base}$ 102.3M, ${\text{Kronos}}_{large}$ 499.2M) 전반에서 거둔 성과는 다음과 같습니다:

• 가격 시계열 예측: 11개 글로벌 자산 테스트 스위트에서 ${\text{Kronos}}_{large}$는 평균 IC 0.0440, RankIC 0.0267을 기록하여 최적의 제로샷 TSFM(${\text{Time-MOE}}_{base}$: RankIC 0.0138, 93% 향상) 및 최상의 풀샷 모델(TimesNet: RankIC 0.0143, 87% 향상)을 능가했습니다.
• 실현 변동성 예측: ${\text{Kronos}}_{large}$는 평균 MAE 0.0370, $R^2$ 0.2624를 달성하여 특화된 계량경제학 베이스라인(GARCH MAE 0.0405, 약 9%의 오차 감소) 및 TSFM을 능가했습니다.
• 합성 데이터 생성: 판별 분류 점수에서 ${\text{Kronos}}_{large}$는 0.3048(0.50은 구분 불가를 의미)을 기록하여 DiffusionTS(0.2504, 충실도 기준 22% 상대적 개선)를 앞섰습니다. Train-on-Synthetic, Test-on-Real (TSTR) 평가에서 생성된 합성 시퀀스는 더 높은 다운스트림 RankIC(DiffusionTS의 0.0102 대비 0.0282)를 산출했습니다.
• 투자 시뮬레이션 (중국 A주): 거래 비용(0.15%)을 반영한 CSI 300 / CSI 800 유니버스 백테스트에서 ${\text{Kronos}}_{large}$는 20.84%의 연환산 초과 수익률(AER)과 1.6491의 정보 비율(IR)을 기록하여 25개 베이스라인 전체를 능가했습니다.

한계 및 향후 과제

• 최대 컨텍스트 길이: 메모리 제약으로 인해 512 토큰으로 제한됩니다. 다중 주기 정렬(multi-frequency alignments)이 이를 부분적으로 완화하지만, 긴 컨텍스트 윈도우 확장은 아직 연구되지 않았습니다.
• 추론 지연 시간 트레이드오프: 2-서브토큰 분해로 인해 타임스텝당 두 번의 순차적 순전파가 필요하며(병렬 예측 대비 $2\times$ 지연), 테스트 시점의 몬테카를로 롤아웃(예: $N=10$)은 추론 연산량을 배가시킵니다.
• 오더북 / L2 정보 부재: 사전 학습이 OHLCVA 바로 제한되어 있습니다. 틱 레벨의 지정가 주문장(limit order book)이나 뉴스 감성 정보를 토큰 임베딩에 직접 통합하는 작업은 향후 연구 과제로 남아 있습니다.