Kronos: A Foundation Model for the Language of Financial Markets

Yu Shi; Zongliang Fu; Shuo Chen; Bohan Zhao; Wei Xu; Changshui Zhang; Jian Li

शोध पत्र · arXiv 2508.02739

Kronos: वित्तीय बाज़ारों की भाषा के लिए एक फाउंडेशन मॉडल

Kronos: A Foundation Model for the Language of Financial Markets

Yu Shi, Zongliang Fu, Shuo Chen, Bohan Zhao, Wei Xu, Changshui Zhang, Jian Li

प्रकाशित 2025-08-02q-fin.STcs.AIcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

📌 सामान्य-उद्देश्यीय टाइम सीरीज़ फाउंडेशन मॉडल कम सिग्नल-टू-नॉइज़ अनुपात, गैर-स्थिरता और प्री-ट्रेनिंग कॉर्पोरा में नगण्य प्रतिनिधित्व के कारण वित्तीय कैंडलस्टिक (K-line) डेटा के साथ संघर्ष करते हैं।
📌 Kronos एक दो-चरणीय फ्रेमवर्क पेश करता है: Binary Spherical Quantization का उपयोग करने वाला एक Transformer टोकनाइज़र प्रत्येक 6D OHLCVA बार को पदानुक्रमित मोटे (coarse) और सूक्ष्म (fine) सबटोकन में फैक्टराइज़ करता है, जिसके बाद एक ऑटोरिग्रैसिव डिकोडर क्रमिक रूप से सबटोकन की भविष्यवाणी करता है।
📌 45 वैश्विक एक्सचेंजों के 12 अरब से अधिक K-line रिकॉर्ड्स पर प्री-ट्रेंड, Kronos अग्रणी फाउंडेशन मॉडल्स की तुलना में ज़ीरो-शॉट मूल्य श्रृंखला पूर्वानुमान RankIC में 93% और शीर्ष गैर-प्री-ट्रेंड बेसलाइनों की तुलना में 87% सुधार करता है।

सार

Large Language Models (LLMs) द्वारा प्रस्तुत बड़े पैमाने के प्री-ट्रेनिंग प्रतिमान की सफलता ने Time Series Foundation Models (TSFMs) के विकास को प्रेरित किया है। हालाँकि, वित्तीय कैंडलस्टिक (K-line) डेटा पर इनका अनुप्रयोग सीमित बना हुआ है, जो अक्सर गैर-प्री-ट्रेंड आर्किटेक्चर की तुलना में कमतर प्रदर्शन करते हैं। इसके अलावा, मौजूदा TSFMs अक्सर अस्थिरता पूर्वानुमान और सिंथेटिक डेटा निर्माण जैसे महत्वपूर्ण डाउनस्ट्रीम कार्यों की अनदेखी करते हैं। इन सीमाओं को हल करने के लिए, हम वित्तीय K-line मॉडलिंग के लिए तैयार एक एकीकृत, स्केलेबल प्री-ट्रेनिंग फ्रेमवर्क Kronos प्रस्तावित करते हैं। Kronos एक विशेष टोकनाइज़र पेश करता है जो निरंतर बाज़ार जानकारी को टोकन अनुक्रमों में अलग करता है, जिससे मूल्य गतिशीलता और व्यापार गतिविधि पैटर्न दोनों सुरक्षित रहते हैं। हम 45 वैश्विक एक्सचेंजों के 12 अरब से अधिक K-line रिकॉर्ड्स के एक विशाल, बहु-बाज़ार कॉर्पस पर एक ऑटोरिग्रैसिव उद्देश्य का उपयोग करके Kronos को प्री-ट्रेन करते हैं, जिससे यह सूक्ष्म लौकिक और क्रॉस-एसेट प्रतिनिधित्व सीखने में सक्षम होता है। Kronos वित्तीय कार्यों के एक विविध सेट में ज़ीरो-शॉट सेटिंग में उत्कृष्ट प्रदर्शन करता है। बेंचमार्क डेटासेट्स पर, Kronos प्रमुख TSFM की तुलना में मूल्य श्रृंखला पूर्वानुमान RankIC को 93% और सर्वश्रेष्ठ गैर-प्री-ट्रेंड बेसलाइन की तुलना में 87% बढ़ाता है। यह अस्थिरता पूर्वानुमान में 9% कम MAE और सिंथेटिक K-line अनुक्रमों के लिए जनरेटिव सटीकता में 22% सुधार भी प्राप्त करता है। ये परिणाम Kronos को एंड-टू-एंड वित्तीय समय श्रृंखला विश्लेषण के लिए एक मजबूत, बहुमुखी फाउंडेशन मॉडल के रूप में स्थापित करते हैं। हमारा प्री-ट्रेंड मॉडल https://github.com/shiyu-coder/Kronos पर सार्वजनिक रूप से उपलब्ध है।

मूल सार (अंग्रेज़ी)

The success of large-scale pre-training paradigm, exemplified by Large Language Models (LLMs), has inspired the development of Time Series Foundation Models (TSFMs). However, their application to financial candlestick (K-line) data remains limited, often underperforming non-pre-trained architectures. Moreover, existing TSFMs often overlook crucial downstream tasks such as volatility prediction and synthetic data generation. To address these limitations, we propose Kronos, a unified, scalable pre-training framework tailored to financial K-line modeling. Kronos introduces a specialized tokenizer that discretizes continuous market information into token sequences, preserving both price dynamics and trade activity patterns. We pre-train Kronos using an autoregressive objective on a massive, multi-market corpus of over 12 billion K-line records from 45 global exchanges, enabling it to learn nuanced temporal and cross-asset representations. Kronos excels in a zero-shot setting across a diverse set of financial tasks. On benchmark datasets, Kronos boosts price series forecasting RankIC by 93% over the leading TSFM and 87% over the best non-pre-trained baseline. It also achieves a 9% lower MAE in volatility forecasting and a 22% improvement in generative fidelity for synthetic K-line sequences. These results establish Kronos as a robust, versatile foundation model for end-to-end financial time series analysis. Our pre-trained model is publicly available at https://github.com/shiyu-coder/Kronos.

पढ़ने की गाइड

समस्या और प्रेरणा

वित्तीय बाज़ार की गतिशीलता मुख्य रूप से कैंडलस्टिक (K-line) डेटा के माध्यम से दर्ज की जाती है जिसमें Open, High, Low, Close कीमतों के साथ-साथ Volume और Amount ( $D = 6$ , OHLCVA) शामिल होते हैं। हालाँकि Time Series Foundation Models (TSFMs) ने सामान्य पूर्वानुमान में प्रगति की है, वे अक्सर वित्तीय कार्यों पर विशेष, गैर-प्री-ट्रेंड डीप आर्किटेक्चर (जैसे iTransformer) की तुलना में कमजोर प्रदर्शन करते हैं। यह कमतर प्रदर्शन दो कारणों से होता है:

वित्तीय K-lines में कम सिग्नल-टू-नॉइज़ अनुपात, भारी टेल (heavy tails), गंभीर गैर-स्थिरता और मजबूत मूल्य-मात्रा जुड़ाव होते हैं जो सामान्य लौकिक आगमनात्मक पूर्वाग्रहों (inductive biases) के साथ मेल नहीं खाते।
मुख्यधारा के TSFMs अपने प्रशिक्षण डेटा का 1% से भी कम (अक्सर $< 0.01%$ ) वित्त के लिए आरक्षित रखते हैं, जिससे महत्वपूर्ण डाउनस्ट्रीम मात्रात्मक उद्देश्य (जैसे अस्थिरता पूर्वानुमान, रिटर्न भविष्यवाणी और सिंथेटिक डेटा निर्माण) उपेक्षित रह जाते हैं।

Kronos विशुद्ध रूप से वित्तीय बाज़ार डेटा पर प्रशिक्षित एक समर्पित, ओपन फाउंडेशन मॉडल के रूप में इस अंतर को पाटता है।

मुख्य विचार

डिक्रिटाइज़-एंड-जनरेट लैंग्वेज मॉडलिंग: आउटलायर्स और अचानक गिरावट (flash crashes) के प्रति संवेदनशील प्रतिगमन (regression) उद्देश्यों के साथ निरंतर फ्लोट्स की भविष्यवाणी करने के बजाय, Kronos निरंतर बाज़ार अवलोकनों को एक असतत शब्दावली में परिमाणित (quantize) करता है, जिससे भविष्यवाणी अगले-टोकन जनरेशन के रूप में तैयार होती है।
Binary Spherical Quantization (BSQ): हाइपरस्फेरिकल प्रोजेक्शन को अनुकूलित करना सीमित अपेक्षित पुनर्निर्माण विकृति ( $∥ u - \overset{u}{^} ∥ < 2$ ) सुनिश्चित करता है, जो आउटलायर प्रभाव को सीमित करते हुए फैट-टेल्ड माइक्रोस्ट्रक्चर बदलावों के प्रति संवेदनशील कोणीय जानकारी को संरक्षित करता है।
पदानुक्रमित सबटोकन अपघटन (Hierarchical Subtoken Decomposition): $2^{20}$ शब्दावली के मेमोरी ओवरहेड से बचने के लिए, Kronos $k = 20$ बिट कोड को $n = 2$ बराबर सबटोकन ( $k_{c} = k_{f} = 10$ , उप-शब्दावली $2^{10} = 1024$ ) में विभाजित करता है: एक मोटा (coarse) सबटोकन जो वैश्विक संरचना को पकड़ता है और एक सूक्ष्म (fine) सबटोकन जो अवशिष्ट विवरणों को कूटबद्ध करता है।
पैमाने पर प्री-ट्रेनिंग: 7 लौकिक ग्रैन्युलैरिटी (1 मिनट से साप्ताहिक तक) में फैले 45 वैश्विक एक्सचेंजों से 12 अरब से अधिक अवलोकनों वाले एक क्यूरेटेड मल्टी-एसेट कॉर्पस पर प्री-ट्रेंड।

विधि

Kronos दो अलग-अलग चरणों में काम करता है:

1. इंस्टेंस-आधारित K-line टोकनाइज़ेशन

प्रत्येक निरंतर बहुभिन्नरूपी अवलोकन $x_{t} \in R^{6}$ को एक असतत कोड $b_{t} = [b_{t}^{c}, b_{t}^{f}]$ में मैप किया जाता है जहाँ $b_{t}^{c}, b_{t}^{f} \in {- 1, 1}^{k /2}$ है। टोकनाइज़र (एक 3-लेयर Transformer एनकोडर-डिकोडर) इसके माध्यम से अनुकूलित किया जाता है: $L_{tokenizer} = L_{coarse} + L_{fine} + λ L_{quant}$ जहाँ $L_{coarse} = E [∥ x - E_{dec} (b^{c}) ∥^{2}]$ , $L_{fine} = E [∥ x - E_{dec} (b) ∥^{2}]$ , और $L_{quant}$ BSQ कमिटमेंट और स्फेरिकल नियमितीकरण हानि है।

2. पदानुक्रमित ऑटोरिग्रैसिव मॉडलिंग

कॉज़ल अटेंशन और Rotary Position Embeddings (RoPE) वाला एक डिकोडर-ओनली Transformer ( $E_{ar}$ ) ऐतिहासिक फ़्यूज्ड टोकन एम्बेडिंग्स को प्रोसेस करता है: $v_{i} = W_{fuse} ([e_{c} (b_{i}^{c}); e_{f} (b_{i}^{f})])$ छिपी हुई स्थिति $h_{t}$ पर आधारित, जनरेशन श्रृंखला नियम का उपयोग करके विघटित होता है: $p (b_{t} ∣ b_{< t}) = p (b_{t}^{c} ∣ b_{< t}) \cdot p (b_{t}^{f} ∣ b_{< t}, b_{t}^{c})$

Coarse हेड: $p (b_{t}^{c} ∣ b_{< t}) = softmax (W_{c} h_{t})$ ।
Fine हेड: एक प्रतिदर्शित भविष्यवाणी $\hat{b}_{t}^{c}$ क्रॉस-अटेंशन के माध्यम से संदर्भ को अपडेट करती है: $h_{t}^{update} = CrossAttn (q = e_{c} (\hat{b}_{t}^{c}), k = v = h_{t})$ $p (b_{t}^{f} ∣ b_{< t}, b_{t}^{c}) = softmax (W_{f} h_{t}^{update})$ कुल प्री-ट्रेनिंग उद्देश्य नकारात्मक लॉग-लाइकलहुड है: $L_{ar} = - E_{b \sim D} t = 1 \sum T [lo g p (b_{t}^{c} ∣ b_{< t}) + lo g p (b_{t}^{f} ∣ b_{< t}, b_{t}^{c})]$

परिणाम

तीन मॉडल वेरिएंट्स में ( $Kronos_{s ma ll}$ 24.7M, $Kronos_{ba se}$ 102.3M, $Kronos_{l a r g e}$ 499.2M):

मूल्य श्रृंखला पूर्वानुमान: 11 वैश्विक एसेट टेस्ट सूट पर, $Kronos_{l a r g e}$ ने 0.0440 का औसत IC और 0.0267 का RankIC हासिल किया, जो सर्वश्रेष्ठ ज़ीरो-शॉट TSFM ( $Time-MOE_{ba se}$ : RankIC 0.0138, 93% की वृद्धि) और सर्वश्रेष्ठ फुल-शॉट मॉडल (TimesNet: RankIC 0.0143, 87% की वृद्धि) से बेहतर प्रदर्शन करता है।
प्राप्त अस्थिरता पूर्वानुमान (Realized Volatility Forecasting): $Kronos_{l a r g e}$ ने 0.0370 का औसत MAE और 0.2624 का $R^{2}$ प्राप्त किया, जो विशेष अर्थमितीय बेसलाइनों (GARCH MAE 0.0405, लगभग 9% त्रुटि कमी) और TSFMs से बेहतर था।
सिंथेटिक जनरेशन: विभेदक वर्गीकरण स्कोर में, $Kronos_{l a r g e}$ ने 0.3048 हासिल किया (जहाँ 0.50 अप्रभेद्यता को दर्शाता है), DiffusionTS (0.2504, सटीकता में 22% सापेक्ष सुधार) को पीछे छोड़ दिया। Train-on-Synthetic, Test-on-Real (TSTR) में, सिंथेटिक अनुक्रमों ने उच्च डाउनस्ट्रीम RankIC (DiffusionTS के 0.0102 के मुकाबले 0.0282) प्रदान किया।
निवेश सिमुलेशन (चीनी A-शेयर): लेनदेन लागत (0.15%) के साथ CSI 300 / CSI 800 यूनिवर्स पर बैकटेस्ट में, $Kronos_{l a r g e}$ ने 20.84% का औसत वार्षिकीकृत अतिरिक्त रिटर्न (AER) और 1.6491 का सूचना अनुपात (IR) दिया, जो सभी 25 बेसलाइनों से अधिक था।

सीमाएं और खुले प्रश्न

अधिकतम संदर्भ लंबाई: मेमोरी की कमी के कारण 512 टोकन तक सीमित; हालाँकि बहु-आवृत्ति संरेखण आंशिक रूप से इसे कम करते हैं, लॉन्ग-कॉन्टेक्स्ट विंडो स्केलिंग अभी भी अनसुलझी है।
इन्फेरेंस लेटेंसी ट्रेड-ऑफ: 2-सबटोकन फैक्टराइज़ेशन के लिए प्रति टाइम स्टेप दो क्रमिक फॉरवर्ड पास की आवश्यकता होती है (समानांतर भविष्यवाणी की तुलना में $2 \times$ लेटेंसी), और परीक्षण-समय मोंटे कार्लो रोलआउट्स (उदा., $N = 10$ ) इन्फेरेंस कंप्यूट को गुणा करते हैं।
ऑर्डर बुक / L2 जानकारी: प्री-ट्रेनिंग OHLCVA बार्स तक सीमित है; टिक-लेवल लिमिट ऑर्डर बुक्स या समाचार भावना (news sentiment) को सीधे टोकन एम्बेडिंग्स में एकीकृत करना एक खुला शोध मार्ग बना हुआ है।

मुख्य शब्द

K-line: निश्चित समय बार में Volume और Amount (OHLCVA) के साथ Open, High, Low, और Close कीमतों को रिकॉर्ड करने वाले बहुभिन्नरूपी कैंडलस्टिक अनुक्रम।
Binary Spherical Quantization (BSQ): एक वेक्टर क्वांटाइज़ेशन विधि जो बाइनरीकरण से पहले निरंतर गुप्त वैक्टरों को एक यूनिट हाइपरस्फीयर पर प्रोजेक्ट करती है, जिससे अधिकतम विकृति त्रुटियां सीमित होती हैं।
Coarse-to-Fine Subtokens: एक 2-तरफा कोड फैक्टराइज़ेशन जो एक पदानुक्रमित पुनर्निर्माण हानि के माध्यम से प्रशिक्षित 20-बिट टोकन को बराबर 10-बिट मोटे और सूक्ष्म घटकों में विभाजित करता है।
RankIC (Rank Information Coefficient): एसेट क्रॉस-सेक्शन में मॉडल द्वारा अनुमानित मूल्यों और वास्तविक भविष्य के परिणामों के बीच स्पीयरमैन रैंक सहसंबंध।
Train-on-Synthetic, Test-on-Real (TSTR): एक मूल्यांकन प्रोटोकॉल जो उत्पन्न डेटा पर एक भविष्य कहनेवाला मॉडल प्रशिक्षित करके और वास्तविक दुनिया के परीक्षण सेटों पर इसका परीक्षण करके सिंथेटिक डेटा की उपयोगिता का आकलन करता है।
Test-Time Scaling: पूर्वानुमान विचरण को कम करने के लिए तापमान और शीर्ष-पी सैंपलिंग का उपयोग करके इन्फेरेंस पर कई स्टोकेस्टिक रोलआउट उत्पन्न करना, फिर डिकोड किए गए प्रक्षेपवक्रों का औसत निकालना।
Exposure Bias Mitigation: टीचर-फोर्सिंग ग्राउंड ट्रुथ का उपयोग करने के बजाय प्रशिक्षण क्रॉस-अटेंशन के दौरान मॉडल के स्वयं के अनुमानित मोटे सबटोकन का सैंपलिंग करना।

प्रश्न

वित्तीय समय श्रृंखला के लिए निरंतर प्रतिगमन (continuous regression) के बजाय असतत टोकन (discrete tokens) का उपयोग क्यों करें?

असततकरण अत्यधिक आउटलायर्स (जैसे कि फ्लैश क्रैश) के खिलाफ अधिकतम पुनर्निर्माण त्रुटि को सीमित करता है, बाज़ार के शोर के अनुरूप फिट होने से रोकता है, और उच्च-आयामी निरंतर बदलावों को असतत स्थिति संक्रमण मॉडलिंग में पुनर्गठित करता है।

Kronos टोकन को n=4 या n=5 के बजाय n=2 सबटोकन में क्यों विभाजित करता है?

n=1 से n=2 पर जाने से शब्दावली पैरामीटर 99.8% से अधिक कम हो जाते हैं (बेस मॉडल में ~1.7B से 3.4M तक)। n=2 से आगे विभाजित करने पर पैरामीटर में नगण्य कमी आती है जो फ़्यूज़न लेयर पैरामीटर वृद्धि से रद्द हो जाती है, जबकि यह ऑटोरिग्रैसिव जनरेशन लेटेंसी को रैखिक रूप से बढ़ा देती है।

Kronos उन परिसंपत्तियों को कैसे संभालता है जिनमें Volume या Amount डेटा की कमी होती है?

प्री-ट्रेनिंग के दौरान, 5% इनपुट के लिए वॉल्यूम और अमाउंट फीचर्स को यादृच्छिक रूप से शून्य कर दिया जाता है। यह मॉडल को वॉल्यूम अनुपलब्ध होने पर (जैसा कि क्रिप्टो और फॉरेक्स प्रयोगों में परीक्षण किया गया है) केवल OHLC इनपुट से सटीक मूल्य पूर्वानुमान लगाने के लिए नियमित करता है।

विभिन्न डाउनस्ट्रीम कार्यों में कौन से सैंपलिंग हाइपरपैरामीटर सबसे अच्छा काम करते हैं?

पूर्वानुमान कार्यों को सटीकता को प्राथमिकता देने के लिए मोंटे कार्लो औसत (N = 10 रोलआउट्स) के साथ शार्प वितरण (T ≈ 0.6, top-p = 0.90) की आवश्यकता होती है, जबकि प्राप्त अस्थिरता पूर्वानुमान और सिंथेटिक डेटा निर्माण को अनुक्रम विविधता को प्रोत्साहित करने के लिए उच्च एन्ट्रापी (T ≈ 0.9–1.0, top-p = 0.90–0.95, N = 1) की आवश्यकता होती है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें