Kronos: نموذج أساس للغة الأسواق المالية

دليل القراءة

المشكلة والدوافع

تُلتقط ديناميكيات السوق المالية في الغالب عبر بيانات الشموع اليابانية (K-line) التي تشتمل على أسعار الفتح، والأعلى، والأدنى، والإغلاق، بالإضافة إلى حجم التداول والقيمة ($D=6$، OHLCVA). بينما أحرزت نماذج الأساس للسلاسل الزمنية (TSFMs) تقدمًا في التنبؤ العام، إلا أنها غالبًا ما تتراجع في الأداء أمام البنى العميقة المتخصصة وغير المدربة مسبقًا (مثل iTransformer) في المهام المالية. ينبع هذا القصور في الأداء من عاملين:

1. تمتلك خطوط K-line المالية نسب إشارة إلى ضوضاء منخفضة، وذيولًا ثقيلة، وعدم استقرار إحصائي حاد، وترابطًا وثيقًا بين السعر والحجم يتعارض مع الانحيازات الاستقرائية الزمنية العامة.
2. تخصص نماذج TSFMs السائدة أقل من 1% (وغالبًا أقل من $0.01\%$) من بيانات تدريبها للمجال المالي، مما يترك الأهداف الكمية اللاحقة الحاسمة (مثل التنبؤ بالتقلب، والتنبؤ بالعوائد، وتوليد البيانات الاصطناعية) غير مخدومة بالشكل الكافي.

يعالج Kronos هذه الفجوة كنموذج أساس مخصص ومفتوح تم تدريبه بالكامل على بيانات الأسواق المالية.

الأفكار الرئيسية

• نمذجة اللغة القائمة على التقطيع والتوليد: بدلاً من التنبؤ بالقيم الكسرية المستمرة بأهداف الانحدار المعرضة للانهيار أمام القيم الشاذة والانهيارات السريعة، يكمم Kronos ملاحظات السوق المستمرة في مفردات منفصلة، محولاً التنبؤ إلى مهمة توليد الرمز التالي.
• التكميم الكروي الثنائي (BSQ): يضمن تكييف الإسقاط الفائق كرويًا وجود تشوه متوقع محدود في إعادة البناء ($\Vert u-\hat{u}\Vert <\sqrt{2}$)، مما يحافظ على المعلومات الزاوية الحساسة لتغيرات البنية الدقيقة ذات الذيول الثقيلة مع وضع حد أقصى لتأثير القيم الشاذة.
• التفكيك الهرمي للرموز الفرعية: لتجنب العبء التخزيني لمفردات بحجم $2^{20}$، يقسم Kronos شفرة بحجم $k=20$ بت إلى رمزين فرعيين متساويين ($k_c=k_f=10$، بمفردات فرعية $2^{10}=1024$): رمز فرعي تقريبي يلتقط الهيكل العام ورمز فرعي دقيق يرمّز التفاصيل المتبقية.
• التدريب المسبق على نطاق واسع: تم تدريبه مسبقًا على مجموعة بيانات منسقة ومتعددة الأصول تحتوي على أكثر من 12 مليار ملاحظة من 45 بورصة عالمية عبر 7 مستويات دقة زمنية (من دقيقة واحدة إلى أسبوعي).

الطريقة

يعمل Kronos في مرحلتين متميزتين:

1. تجزئة خطوط K-line القائمة على الحالات

تُعين كل ملاحظة مستمرة متعددة المتغيرات ${\mathbf{x}}_t\in {\mathbb{R}}^6$ إلى شفرة منفصلة $b_t=[b_t^c,b_t^f]$ حيث $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. يتم تحسين مجزئ الرموز (المكون من 3 طبقات تشفير وفك تشفير بتقنية Transformer) عبر: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ حيث ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$، و${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$، و${\mathcal{L}}_{\text{quant}}$ تمثل التزام BSQ ودالة خسارة التنظيم الكروي.

2. النمذجة الانحدارية الذاتية الهرمية

يقوم نموذج Transformer مقتصر على فك التشفير ($E_{\text{ar}}$) مع انتباه سببي وتضمينات موضعية دوارة (RoPE) بمعالجة التضمينات المدمجة للرموز السابقة: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ بناءً على الحالة الخفية المشروطة ${\mathbf{h}}_t$، يتفكك التوليد باستخدام قاعدة السلسلة: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• رأس التنبؤ التقريبي: $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• رأس التنبؤ الدقيق: يحدّث التنبؤ المأخوذ كعينة ${\hat{b}}_t^c$ السياق عبر الانتباه المتقاطع: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ الهدف الإجمالي للتدريب المسبق هو سالب لوغاريتم الاحتمالية: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

النتائج

عبر ثلاثة متغيرات من النموذج (${\text{Kronos}}_{small}$ بحجم 24.7 مليون، و${\text{Kronos}}_{base}$ بحجم 102.3 مليون، و${\text{Kronos}}_{large}$ بحجم 499.2 مليون معلمة):

• التنبؤ بسلاسل الأسعار: في 11 مجموعة اختبار للأصول العالمية، حقق ${\text{Kronos}}_{large}$ متوسط IC قدره 0.0440 وRankIC قدره 0.0267، متفوقًا على أفضل TSFM بنمط zero-shot (وهو ${\text{Time-MOE}}_{base}$: بـ RankIC قدره 0.0138، محققًا زيادة بنسبة 93%) وأفضل نموذج كامل التدريب (TimesNet: بـ RankIC قدره 0.0143، محققًا زيادة بنسبة 87%).
• التنبؤ بالتقلب الفعلي المحقق: حقق ${\text{Kronos}}_{large}$ متوسط خطأ مطلق (MAE) قدره 0.0370 وقيمة $R^2$ قدرها 0.2624، متفوقًا على النماذج القياسية الاقتصادية القياسية المتخصصة (GARCH مع MAE قدره 0.0405، أي انخفاض في الخطأ بنحو 9%) وعلى نماذج TSFMs.
• التوليد الاصطناعي: في درجة التصنيف التمييزي، حقق ${\text{Kronos}}_{large}$ نتيجة 0.3048 (حيث تشير 0.50 إلى عدم القدرة على التمييز)، متفوقًا على DiffusionTS (الذي سجل 0.2504، مما يمثل تحسنًا نسبيًا بنسبة 22% في الدقة). وفي اختبار التدريب على الاصطناعي والاختبار على الحقيقي (TSTR)، أسفرت التسلسلات الاصطناعية عن RankIC أعلى في المهام اللاحقة (0.0282 مقابل 0.0102 لـ DiffusionTS).
• محاكاة الاستثمار (الأسهم الصينية فئة A): في الاختبارات الرجعية على مؤشرات CSI 300 وCSI 800 مع احتساب تكاليف المعاملات (0.15%)، حقق ${\text{Kronos}}_{large}$ متوسط عائد سنوي فائض (AER) بنسبة 20.84% ونسبة معلومات (IR) بلغت 1.6491، متجاوزًا جميع النماذج المقارنة البالغ عددها 25 نموذجًا.

القيود والأسئلة المفتوحة

• الحد الأقصى لطول السياق: يقتصر على 512 رمزًا بسبب قيود الذاكرة؛ وعلى الرغم من أن المواءمة متعددة الترددات تخفف من ذلك جزئيًا، إلا أن توسيع نافذة السياق الطويل يظل أمرًا غير مستكشف.
• المفاضلة في زمن استجابة الاستدلال: يتطلب تفكيك الرموز الفرعية الثنائي تمريرين أماميين متتاليين لكل خطوة زمنية (ضعف زمن الاستجابة مقارنة بالتنبؤ المتوازي)، كما أن عمليات محاكاة مونت كارلو في وقت الاختبار (مثل $N=10$) تضاعف الحسابات المطلوبة للاستدلال.
• معلومات دفتر الأوامر / المستوى الثاني (L2): يقتصر التدريب المسبق على شموع OHLCVA فقط؛ ويظل دمج دفاتر أوامر الحد على مستوى التكة (tick-level) أو مشاعر الأخبار مباشرة في تضمينات الرموز مسارًا بحثيًا مفتوحًا.