Kronos: Базовая модель для языка финансовых рынков

Разбор статьи

Проблема и мотивация

Динамика финансовых рынков в основном фиксируется с помощью свечных данных (K-line), включающих цены открытия (Open), максимума (High), минимума (Low), закрытия (Close), а также объем (Volume) и сумму сделок (Amount) ($D=6$, OHLCVA). Хотя базовые модели временных рядов (TSFM) достигли значительных успехов в общих задачах прогнозирования, они регулярно уступают специализированным непредобученным глубоким архитектурам (таким как iTransformer) на финансовых задачах. Это связано с двумя ключевыми факторами:

1. Финансовые свечи (K-lines) характеризуются низким соотношением сигнал/шум, тяжелыми хвостами распределений, выраженной нестационарностью и жесткими связями «цена–объем», что противоречит стандартным индуктивным смещениям для временных рядов общего назначения.
2. В основных TSFM на финансовые данные приходится менее 1% (часто $<0,01\%$) обучающих выборок, из-за чего ключевые количественные задачи (прогнозирование волатильности, доходности и генерация синтетических данных) остаются недостаточно оптимизированными.

Kronos устраняет этот пробел, выступая в качестве специализированной открытой базовой модели, обученной исключительно на данных финансовых рынков.

Ключевые идеи

• Языковое моделирование через дискретизацию и генерацию (Discretize-and-Generate): Вместо прогнозирования непрерывных вещественных чисел с помощью регрессионных функций потерь, чувствительных к выбросам и внезапным обвалам рынка (flash crashes), Kronos квантует непрерывные наблюдения в дискретный словарь, сводя прогнозирование к генерации следующего токена.
• Двоичное сферическое квантование (Binary Spherical Quantization, BSQ): Проекция на гиперсферу гарантирует ограниченную ожидаемую ошибку реконструкции ($\Vert u-\hat{u}\Vert <\sqrt{2}$), сохраняя угловую информацию, чувствительную к изменениям микроструктуры рынка с тяжелыми хвостами распределения, и одновременно сдерживая влияние выбросов.
• Иерархическая декомпозиция на субтокены: Чтобы избежать чрезмерных затрат памяти на словарь размера $2^{20}$, Kronos разделяет $k=20$-битный код на $n=2$ равных субтокена ($k_c=k_f=10$, размер подсловаря $2^{10}=1024$): грубый субтокен (coarse), улавливающий глобальную структуру, и детальный субтокен (fine), кодирующий остаточные детали.
• Масштабное предобучение: Модель предобучена на тщательно отобранном мультивалютном и мультирыночном корпусе, содержащем более 12 миллиардов наблюдений с 45 мировых бирж с 7 временными гранулярностями (от 1-минутных до недельных свечей).

Метод

Kronos работает в два этапа:

1. Токенизация отдельных K-line баров

Каждое непрерывное многомерное наблюдение ${\mathbf{x}}_t\in {\mathbb{R}}^6$ отображается в дискретный код $b_t=[b_t^c,b_t^f]$, где $b_t^c,b_t^f\in \{-1,1{\}}^{k/2}$. Токенизатор (3-слойный Transformer энкодер-декодер) оптимизируется с помощью: $${\mathcal{L}}_{\text{tokenizer}}={\mathcal{L}}_{\text{coarse}}+{\mathcal{L}}_{\text{fine}}+\lambda {\mathcal{L}}_{\text{quant}}$$ где ${\mathcal{L}}_{\text{coarse}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}({\mathbf{b}}^c){\Vert }^2]$, ${\mathcal{L}}_{\text{fine}}=\mathbb{E}[\Vert \mathbf{x}-E_{\text{dec}}(\mathbf{b}){\Vert }^2]$, а ${\mathcal{L}}_{\text{quant}}$ представляет собой функцию потерь commitment и сферической регуляризации BSQ.

2. Иерархическое авторегрессионное моделирование

Декодерный Transformer ($E_{\text{ar}}$) с причинным вниманием (causal attention) и вращающимися позиционными эмбеддингами (RoPE) обрабатывает последовательность объединенных эмбеддингов токенов: $${\mathbf{v}}_i=W_{\text{fuse}}([e_c(b_i^c);e_f(b_i^f)])$$ С учетом скрытого состояния ${\mathbf{h}}_t$, генерация факторизуется по правилу цепочки: $$p(b_t\mid {\mathbf{b}}_{<t})=p(b_t^c\mid {\mathbf{b}}_{<t})\cdot p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)$$

• Грубая голова (Coarse head): $p(b_t^c\mid {\mathbf{b}}_{<t})=\text{softmax}(W_c{\mathbf{h}}_t)$.
• Детальная голова (Fine head): Сгенерированное предсказание ${\hat{b}}_t^c$ обновляет контекст через cross-attention: $${\mathbf{h}}_t^{\text{update}}=\text{CrossAttn}(q=e_c({\hat{b}}_t^c),k=v={\mathbf{h}}_t)$$ $$p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)=\text{softmax}(W_f{\mathbf{h}}_t^{\text{update}})$$ Итоговая функция потерь предобучения представляет собой отрицательное логарифмическое правдоподобие: $${\mathcal{L}}_{\text{ar}}=-{\mathbb{E}}_{\mathbf{b}\sim \mathcal{D}}\sum _{t=1}^T\left[\log p(b_t^c\mid {\mathbf{b}}_{<t})+\log p(b_t^f\mid {\mathbf{b}}_{<t},b_t^c)\right]$$

Результаты

В экспериментах с тремя вариантами модели (${\text{Kronos}}_{small}$ 24,7M, ${\text{Kronos}}_{base}$ 102,3M, ${\text{Kronos}}_{large}$ 499,2M):

• Прогнозирование ценовых рядов: На 11 глобальных тестовых наборах активов ${\text{Kronos}}_{large}$ достиг среднего IC 0,0440 и RankIC 0,0267, опередив лучшую zero-shot TSFM (${\text{Time-MOE}}_{base}$: RankIC 0,0138, относительный прирост 93%) и лучшую full-shot модель (TimesNet: RankIC 0,0143, прирост 87%).
• Прогнозирование реализованной волатильности: ${\text{Kronos}}_{large}$ показал средний MAE 0,0370 и $R^2$ 0,2624, превзойдя специализированные эконометрические бейзлайны (GARCH MAE 0,0405, снижение ошибки примерно на 9%) и TSFM.
• Генерация синтетических данных: В задаче дискриминативной классификации ${\text{Kronos}}_{large}$ получил 0,3048 (где 0,50 означает полную неотличимость), обойдя DiffusionTS (0,2504, относительное улучшение реалистичности на 22%). В парадигме Train-on-Synthetic, Test-on-Real (TSTR) синтетические последовательности привели к более высокому качеству RankIC в прикладных задачах (0,0282 против 0,0102 у DiffusionTS).
• Инвестиционная симуляция (китайские акции класса A): В бэктестах на выборках CSI 300 / CSI 800 с учетом транзакционных издержек (0,15%) ${\text{Kronos}}_{large}$ продемонстрировал среднюю годовую избыточную доходность (AER) 20,84% и коэффициент информации (IR) 1,6491, превзойдя все 25 контрольных моделей.

Ограничения и открытые вопросы

• Максимальная длина контекста: Ограничена 512 токенами из-за вычислительных затрат на память; хотя выравнивание на разных временных частотах частично сглаживает проблему, масштабирование контекстного окна требует дальнейших исследований.
• Компромисс по задержке инференса: Факторизация на 2 субтокена требует двух последовательных прямых проходов (forward passes) на каждый временной шаг (двукратное замедление по сравнению с параллельным предсказанием), а использование симуляций Монте-Карло при инференсе (например, $N=10$) дополнительно умножает вычислительные затраты.
• Книга заявок / Данные L2: Предобучение ограничено барами OHLCVA; прямое внедрение потиковых данных стакана ордеров (limit order book) или анализа тональности новостей в эмбеддинги токенов остается открытым направлением.