Kronos: Mô hình nền tảng cho ngôn ngữ của thị trường tài chính

Hướng dẫn đọc

Vấn đề và động lực

Động lực thị trường tài chính chủ yếu được ghi nhận qua dữ liệu nến (K-line) bao gồm giá Mở cửa (Open), Cao nhất (High), Thấp nhất (Low), Đóng cửa (Close), cùng với Khối lượng (Volume) và Giá trị giao dịch (Amount) ($D=6$, OHLCVA). Mặc dù các Mô hình Nền tảng Chuỗi Thời gian (TSFM) đã đạt nhiều tiến bộ trong dự báo tổng quát, chúng thường kém hiệu quả hơn các kiến trúc sâu chuyên biệt, không qua tiền huấn luyện (như iTransformer) trong các tác vụ tài chính. Sự kém hiệu quả này bắt nguồn từ hai yếu tố:

1. Nến K-line tài chính có tỷ lệ tín hiệu trên nhiễu thấp, phân phối đuôi dày (heavy tails), tính phi dừng nghiêm trọng và sự kết hợp chặt chẽ giữa giá và khối lượng, vốn xung đột với các thiên kiến quy nạp thời gian thông thường.
2. Các TSFM chính thống dành chưa đến 1% (thường $<0.01\%$) dữ liệu huấn luyện cho tài chính, khiến các mục tiêu định lượng hạ nguồn quan trọng (như dự báo độ biến động, dự đoán lợi nhuận và tạo dữ liệu tổng hợp) không được đáp ứng tốt.

Kronos giải quyết khoảng cách này dưới dạng một mô hình nền tảng mở, chuyên dụng được huấn luyện hoàn toàn trên dữ liệu thị trường tài chính.

Các ý tưởng then chốt

• Mô hình hóa ngôn ngữ Rời rạc hóa-và-Tạo sinh (Discretize-and-Generate): Thay vì dự đoán các giá trị số thực liên tục bằng các mục tiêu hồi quy vốn dễ bị ảnh hưởng bởi các ngoại lai và hiện tượng sụp đổ chớp nhoáng (flash crash), Kronos lượng tử hóa các quan sát thị trường liên tục vào một từ vựng rời rạc, chuyển đổi bài toán dự đoán thành việc tạo token tiếp theo.
• Lượng tử hóa cầu nhị phân (Binary Spherical Quantization - BSQ): Việc điều chỉnh phép chiếu siêu cầu đảm bảo độ méo tái tạo kỳ vọng bị chặn (bounded expected reconstruction distortion) ($\Vert u-\hat{u}\Vert <\sqrt{2}$), bảo toàn thông tin góc nhạy cảm với các biến dịch vi cấu trúc đuôi dày trong khi giới hạn tác động của các giá trị ngoại lai.
• Phân rã Subtoken phân cấp (Hierarchical Subtoken Decomposition): Để tránh chi phí bộ nhớ của từ vựng kích thước $2^{20}$, Kronos chia một mã $k=20$ bit thành $n=2$ subtoken bằng nhau ($k_c=k_f=10$, từ vựng con $2^{10}=1024$): một subtoken thô nắm bắt cấu trúc tổng thể và một subtoken tinh mã hóa các chi tiết phần dư.
• Tiền huấn luyện quy mô lớn: Được tiền huấn luyện trên tập ngữ liệu đa tài sản chọn lọc chứa hơn 12 tỷ quan sát từ 45 sàn giao dịch toàn cầu trải dài trên 7 độ chi tiết thời gian (từ 1 phút đến hàng tuần).

Phương pháp

Kronos hoạt động qua hai giai đoạn riêng biệt:

1. Token hóa K-line dựa trên thực thể (Instance-Based K-line Tokenization)

Mỗi quan sát đa biến liên tục ${\mathbf{x}}_t\in {\mathbb{R}}^6$ được ánh xạ tới một mã rời rạc $b_t=[b_t^c,b_t^f]$ trong đó $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. Bộ tokenizer (Transformer encoder-decoder 3 lớp) được tối ưu hóa thông qua: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ trong đó ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$, và ${\mathcal{L}}_{\text{quant}}$ là tổn thất cam kết BSQ và điều chuẩn hình cầu.

2. Mô hình hóa tự hồi quy phân cấp (Hierarchical Autoregressive Modeling)

Một Transformer decoder-only ($E_{\text{ar}}$) với causal attention và Nhúng vị trí quay (RoPE) xử lý các embedding token kết hợp trong lịch sử: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ Phụ thuộc vào trạng thái ẩn ${\mathbf{h}}_t$, quá trình tạo sinh phân rã theo quy tắc chuỗi: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Coarse head: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Fine head: Một dự đoán được lấy mẫu ${\hat{b}}_t^c$ sẽ cập nhật ngữ cảnh thông qua cross-attention: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ Mục tiêu tiền huấn luyện tổng thể là log-likelihood âm: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Kết quả

Trên ba biến thể mô hình (${\text{Kronos}}_{small}$ 24.7M, ${\text{Kronos}}_{base}$ 102.3M, ${\text{Kronos}}_{large}$ 499.2M):

• Dự báo chuỗi giá: Trên 11 bộ kiểm thử tài sản toàn cầu, ${\text{Kronos}}_{large}$ đạt IC trung bình 0.0440 và RankIC 0.0267, vượt qua TSFM zero-shot tốt nhất (${\text{Time-MOE}}_{base}$: RankIC 0.0138, tăng 93%) và mô hình full-shot tốt nhất (TimesNet: RankIC 0.0143, tăng 87%).
• Dự báo độ biến động thực tế (Realized Volatility): ${\text{Kronos}}_{large}$ đạt MAE trung bình 0.0370 và $R^2$ 0.2624, vượt qua các mô hình cơ sở kinh tế lượng chuyên biệt (GARCH MAE 0.0405, giảm khoảng 9% lỗi) và các TSFM.
• Tạo sinh dữ liệu tổng hợp: Về điểm phân loại phân biệt (discriminative classification score), ${\text{Kronos}}_{large}$ đạt 0.3048 (trong đó 0.50 biểu thị không thể phân biệt được), đánh bại DiffusionTS (0.2504, cải thiện tương đối 22% về độ trung thực). Trong Train-on-Synthetic, Test-on-Real (TSTR), các chuỗi tổng hợp mang lại RankIC hạ nguồn cao hơn (0.0282 so với 0.0102 của DiffusionTS).
• Mô phỏng đầu tư (Cổ phiếu hạng A Trung Quốc): Trong backtest trên tập hợp CSI 300 / CSI 800 có tính chi phí giao dịch (0.15%), ${\text{Kronos}}_{large}$ mang lại Lợi nhuận vượt mức hàng năm (AER) trung bình 20.84% và Tỷ lệ thông tin (IR) 1.6491, vượt trội hơn tất cả 25 mô hình cơ sở.

Hạn chế và các câu hỏi mở

• Độ dài ngữ cảnh tối đa: Bị giới hạn ở 512 token do hạn chế bộ nhớ; dù căn chỉnh đa tần số đã giảm thiểu phần nào, việc mở rộng cửa sổ ngữ cảnh dài vẫn chưa được khám phá.
• Đánh đổi về độ trễ suy luận: Việc phân tích thành 2 subtoken đòi hỏi hai lượt truyền xuôi tuần tự cho mỗi bước thời gian (độ trễ gấp $2\times$ so với dự đoán song song), và các đợt triển khai Monte Carlo lúc kiểm thử (ví dụ: $N=10$) làm nhân lên chi phí tính toán suy luận.
• Thông tin Sổ lệnh / Dữ liệu L2: Quá trình tiền huấn luyện chỉ giới hạn ở các thanh OHLCVA; việc tích hợp sổ lệnh giới hạn cấp tick hoặc tâm lý tin tức trực tiếp vào embedding của token vẫn là một hướng nghiên cứu mở.