Kronos: โมเดลพื้นฐานสำหรับภาษาของตลาดการเงิน

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

พลวัตของตลาดการเงินส่วนใหญ่ถูกบันทึกผ่านข้อมูลแท่งเทียน (K-line) ซึ่งประกอบด้วยราคาเปิด สูง ต่ำ ปิด รวมถึงปริมาณและมูลค่าการซื้อขาย ($D=6$, OHLCVA) แม้ว่า Time Series Foundation Models (TSFMs) จะมีความก้าวหน้าในการพยากรณ์ทั่วไป แต่มักมีประสิทธิภาพต่ำกว่าสถาปัตยกรรมเชิงลึกเฉพาะทางที่ไม่ได้ผ่านการเทรนล่วงหน้า (เช่น iTransformer) ในงานทางการเงิน ประสิทธิภาพที่ด้อยกว่านี้เกิดจากสองปัจจัย:

1. K-line ทางการเงินมีอัตราส่วนสัญญาณต่อสัญญาณรบกวนต่ำ มีการกระจายตัวแบบหางหนา (heavy tails) มีความไม่คงที่อย่างรุนแรง และมีความเชื่อมโยงระหว่างราคากับปริมาณที่แน่นแฟ้น ซึ่งขัดแย้งกับ temporal inductive biases ทั่วไป
2. TSFMs กระแสหลักจัดสรรข้อมูลสำหรับการเงินไม่ถึง 1% (มักจะ $<0.01\%$) ของข้อมูลการเทรน ทำให้เป้าหมายเชิงปริมาณในงานปลายน้ำที่สำคัญ (เช่น การพยากรณ์ความผันผวน การทำนายผลตอบแทน และการสร้างข้อมูลสังเคราะห์) ไม่ได้รับการตอบสนองที่ดีพอ

Kronos เข้ามาแก้ปัญหานี้ในฐานะโมเดลพื้นฐานแบบเปิดที่สร้างขึ้นโดยเฉพาะและเทรนด้วยข้อมูลตลาดการเงินล้วนๆ

แนวคิดสำคัญ

• Discretize-and-Generate Language Modeling: แทนที่จะทำนายค่าทศนิยมต่อเนื่องด้วยเป้าหมายการถดถอยที่เปราะบางต่อค่าผิดปกติและเหตุการณ์ flash crashes แต่ Kronos ทำการควอนไทซ์การสังเกตการณ์ตลาดแบบต่อเนื่องให้อยู่ในคลังคำศัพท์แบบไม่ต่อเนื่อง โดยกำหนดการทำนายให้อยู่ในรูปแบบการสร้างโทเคนถัดไป
• Binary Spherical Quantization (BSQ): การปรับการฉายภาพแบบไฮเปอร์สเฟียร์ช่วยรับประกันขอบเขตความคลาดเคลื่อนในการสร้างใหม่ที่คาดไว้ ($\Vert u-\hat{u}\Vert <\sqrt{2}$) ซึ่งช่วยรักษาข้อมูลเชิงมุมที่ไวต่อการเปลี่ยนแปลงของโครงสร้างจุลภาคแบบหางหนา ขณะเดียวกันก็จำกัดผลกระทบจากค่าผิดปกติได้
• Hierarchical Subtoken Decomposition: เพื่อหลีกเลี่ยงภาระหน่วยความจำของคลังคำศัพท์ขนาด $2^{20}$ ทาง Kronos ได้แยกโค้ดขนาด $k=20$ บิตออกเป็น $n=2$ โทเคนย่อยเท่าๆ กัน ($k_c=k_f=10$, คลังคำศัพท์ย่อย $2^{10}=1024$) โดยมีโทเคนย่อยแบบหยาบที่เก็บโครงสร้างโดยรวม และโทเคนย่อยแบบละเอียดที่เข้ารหัสรายละเอียดส่วนตกค้าง
• Pre-training at Scale: ได้รับการเทรนล่วงหน้าบนคลังข้อมูลหลายสินทรัพย์ที่คัดสรรมาอย่างดี ซึ่งประกอบด้วยการสังเกตการณ์มากกว่า 1.2 หมื่นล้านรายการจาก 45 ตลาดแลกเปลี่ยนทั่วโลก ครอบคลุม 7 ระดับความละเอียดของเวลา (ตั้งแต่ 1 นาทีไปจนถึงรายสัปดาห์)

ระเบียบวิธีวิจัย

Kronos ทำงานในสองขั้นตอนที่แตกต่างกัน:

1. Instance-Based K-line Tokenization

การสังเกตการณ์หลายตัวแปรแบบต่อเนื่องแต่ละค่า ${\mathbf{x}}_t\in {\mathbb{R}}^6$ จะถูกจับคู่ไปยังโค้ดไม่ต่อเนื่อง $b_t=[b_t^c,b_t^f]$ โดยที่ $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$ สำหรับตัวสร้างโทเคน (Transformer encoder-decoder 3 ชั้น) ได้รับการปรับให้เหมาะสมผ่าน: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ โดยที่ ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$ และ ${\mathcal{L}}_{\text{quant}}$ คือ commitment and spherical regularization loss ของ BSQ

2. Hierarchical Autoregressive Modeling

Transformer ที่มีเฉพาะตัวถอดรหัส ($E_{\text{ar}}$) พร้อม causal attention และ Rotary Position Embeddings (RoPE) จะประมวลผลเวกเตอร์ฝังโทเคนที่ผสานกันในอดีต: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ ภายใต้เงื่อนไขสถานะซ่อนเร้น ${\mathbf{h}}_t$ การสร้างจะถูกแยกย่อยโดยใช้กฎลูกโซ่: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Coarse head: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$
• Fine head: คำทำนายที่ได้จากการสุ่มตัวอย่าง ${\hat{b}}_t^c$ จะอัปเดตบริบทผ่าน cross-attention: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ เป้าหมายการเทรนล่วงหน้าโดยรวมคือ negative log-likelihood: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

ผลลัพธ์

เมื่อประเมินจากโมเดลทั้งสามรูปแบบ (${\text{Kronos}}_{small}$ ขนาด 24.7M, ${\text{Kronos}}_{base}$ ขนาด 102.3M, ${\text{Kronos}}_{large}$ ขนาด 499.2M):

• การพยากรณ์อนุกรมราคา: ในชุดทดสอบสินทรัพย์ทั่วโลก 11 ชุด ${\text{Kronos}}_{large}$ ทำค่าเฉลี่ย IC ได้ 0.0440 และ RankIC ได้ 0.0267 ซึ่งเหนือกว่า TSFM แบบ zero-shot ที่ดีที่สุด (${\text{Time-MOE}}_{base}$: RankIC 0.0138 คิดเป็นประสิทธิภาพที่ดีขึ้น 93%) และโมเดลแบบ full-shot ที่ดีที่สุด (TimesNet: RankIC 0.0143 คิดเป็นประสิทธิภาพที่ดีขึ้น 87%)
• การพยากรณ์ความผันผวนจริง (Realized Volatility): ${\text{Kronos}}_{large}$ มีค่า MAE เฉลี่ย 0.0370 และ $R^2$ เฉลี่ย 0.2624 ซึ่งมีประสิทธิภาพเหนือกว่าเบสไลน์ทางเศรษฐมิติเฉพาะทาง (GARCH MAE 0.0405 หรือลดความผิดพลาดลงประมาณ 9%) และ TSFMs
• การสร้างข้อมูลสังเคราะห์: ในคะแนนการจำแนกเชิงแยกแยะ ${\text{Kronos}}_{large}$ ทำได้ 0.3048 (โดยที่ 0.50 หมายถึงไม่สามารถแยกแยะได้) เอาชนะ DiffusionTS (0.2504 ซึ่งคิดเป็นความสมจริงที่ดีขึ้นสัมพัทธ์ 22%) ในการประเมินแบบ Train-on-Synthetic, Test-on-Real (TSTR) ลำดับข้อมูลสังเคราะห์ให้ค่า RankIC ปลายน้ำที่สูงกว่า (0.0282 เทียบกับ 0.0102 สำหรับ DiffusionTS)
• การจำลองการลงทุน (หุ้นจีน A-Shares): ในการทดสอบย้อนหลังบนจักรวาลดัชนี CSI 300 / CSI 800 โดยคิดต้นทุนการทำธุรกรรม (0.15%) ${\text{Kronos}}_{large}$ สร้างผลตอบแทนส่วนเกินรายปีเฉลี่ย (AER) ได้ 20.84% และมี Information Ratio (IR) ที่ 1.6491 ซึ่งแซงหน้าทั้ง 25 เบสไลน์

ข้อจำกัดและประเด็นที่เปิดกว้าง

• ความยาวบริบทสูงสุด: ถูกจำกัดไว้ที่ 512 โทเคนเนื่องจากข้อจำกัดของหน่วยความจำ แม้ว่าการจัดเรียงหลายความถี่จะช่วยบรรเทาปัญหานี้ได้บางส่วน แต่การขยายหน้าต่างบริบทขนาดยาวก็ยังไม่ได้รับการสำรวจ
• การประนีประนอมความหน่วงในการอนุมาน: การแยกย่อยเป็น 2 โทเคนย่อยจำเป็นต้องมีการส่งผ่านไปข้างหน้า (forward pass) สองครั้งตามลำดับต่อหนึ่งขั้นตอนเวลา (ความหน่วงเพิ่มขึ้นเป็น $2\times$ เมื่อเทียบกับการทำนายแบบขนาน) และการทำ Monte Carlo rollouts ระหว่างการทดสอบ (เช่น $N=10$) จะยิ่งเพิ่มภาระการคำนวณในการอนุมานขึ้นหลายเท่า
• ข้อมูลสมุดคำสั่งซื้อ / L2: การเทรนล่วงหน้านั้นจำกัดอยู่เพียงแท่ง OHLCVA เท่านั้น การผสานข้อมูล limit order book ระดับ tick หรือความรู้สึกจากข่าวสารเข้าสู่อิมเบดดิงของโทเคนโดยตรงยังคงเป็นแนวทางการวิจัยที่เปิดกว้าง