Hy-Nomas: на пути к интерактивной генерации миров в свободной форме

Разбор статьи

Постановка задачи и мотивация

Интерактивные видеомодели мира функционируют как симулированные виртуальные среды, генерирующие будущие визуальные наблюдения в ответ на непрерывные действия пользователя. В отличие от стандартных систем text-to-video (T2V), которые рендерят заранее заданные ролики, интерактивная модель мира должна:

1. Принимать динамически поступающие команды непосредственно во время генерации.
2. Обрабатывать как семантические вмешательства (текст в свободной форме), так и пространственную навигацию (непрерывные позы камеры).
3. Предотвращать ошибочное повторение ранее завершенных действий в последующих сегментах, сохраняя при этом устойчивый контекст сцены и визуальные последствия.
4. Избегать критического накопления ошибок в ходе авторегрессионного развертывания без катастрофического переполнения памяти.

Hy-Nomas решает эти проблемы путем адаптации 8B двунаправленного диффузионного трансформера (HunyuanVideo 1.5) в единую пофрагментную авторегрессионную видеомодель мира.

Ключевые идеи

• Action-Aware Causal Attention: Разделяет постоянный описательный контекст сцены («head») и локализованные во времени инструкции к действиям («tails»). Описательный контекст остается доступным для будущих сегментов, тогда как токены действий ограничиваются своим исходным сегментом и временными рамками, что исключает повторное выполнение действий.
• Непрерывное кондиционирование камеры: Использует межкадровые относительные преобразования $\Delta P_t=P_{t-1}^{-1}{P}_t$, нормализованные по масштабам движения видео и внедряемые через выделенный поблочный cross-attention.
• Prompt Enhancer (PE): Дообученная мультимодальная VLM (на базе Qwen3.8-27B), транслирующая многошаговые намерения пользователя и историю наблюдений в структурированные JSON-условия с описанием изменений сцены, тегов камеры и выполняемых действий.
• Segment Forcing со стриминговым backward-проходом: Обучает авторегрессионный генератор на его собственных предсказаниях после одного шага денойзинга, что приближает распределение к инференсу при фиксированном потреблении памяти.
• Дистилляция до 4 NFE: Сжимает 100-шаговый сэмплер Euler всего до 4 вызовов нейросети (NFE) на сегмент за счет инициализации Phased Consistency Model (PCM), метода Decoupled Distribution Matching Distillation (DDMD) и каузального состязательного уточнения.

Метод (с ключевыми формулами)

Представление видео в латентном пространстве

RGB-видео $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ сжимается с помощью каузального энкодера DCAE-V $\mathcal{E}$ в латентные переменные $Z$: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Каждая латентная позиция проецируется в 2048-мерное скрытое пространство DiT.

Функция потерь

Модель обучается с помощью linear flow matching на чистых латентах $Z$ и шуме $ϵ\sim \mathcal{N}(0,I)$: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ Сеть предсказывает скорость $V_t$, оптимизируясь по среднеквадратичной ошибке (MSE).

Action-Aware Causal Attention и управление камерой

Для сегмента $j$ видеотокены применяют каузальное внимание к прошлым сегментам и двунаправленное — внутри сегмента $j$. Внутри каждого сегмента токены запросов (query) в пределах окна действия обращают внимание только на текстовые токены этого действия и окружение («head»). В механизме cross-attention визуальные токены $V$ взаимодействуют с 64-мерными токенами относительного движения камеры $C$: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

Чтобы подготовить модель к накоплению ошибок при инференсе, сегмент $s$ вычисляет flow loss и обновляет KV-кэш для сегмента $s+1$, используя одношаговый денойзинг латентов: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ Стриминговый backward-проход освобождает промежуточные активации по сегментам, сохраняя в памяти GPU граф вычислений только для одного сегмента.

Оценка FLOP при распределенной упаковке (Packing)

Видео упаковываются в батчи до 360K токенов с балансировкой по расчетному количеству FLOP: $$F_i=\alpha n_i+\beta A_i$$ где $n_i$ — число валидных токенов, а $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ — число немаскированных пар query-key.

Результаты (с ключевыми метриками)

Оценка проводилась на Hy-Nomas-Bench (280 тестовых сценариев в 4 бенчмарках):

• Bench-1 (Многошаговое текстовое взаимодействие):
  • Следование инструкциям: Hy-Nomas демонстрирует соотношение 65,0% побед против 10,0% поражений в сравнении с HappyOyster-Directing и 75,0% побед против 8,3% поражений против LingBot-World v2.
  • Физическая правдоподобность: Hy-Nomas показывает 45,0% побед против 11,7% поражений против HappyOyster-Directing и 68,3% побед против 5,0% поражений против LingBot-World v2.
• Bench-2 (Навигация камеры): Hy-Nomas достигает более высоких показателей на 100 траекториях: 32,0% побед против 14,0% поражений против Genie 3 и 36,0% побед против 10,0% поражений против HappyOyster-Wandering.
• Bench-3 (Чередование текста и камеры): Достигает 75,0% побед (против 8,3% поражений) по следованию инструкциям и 73,3% побед (против 1,7% поражений) по физической правдоподобности против LingBot-World v2.
• Bench-4 (Пространственная память): Hy-Nomas превосходит LingBot-World v2 (58,3% побед против 1,7% поражений) и HappyOyster (30,0% побед против 23,3% поражений), но уступает Genie 3 (13,3% побед против 30,0% поражений при 56,7% ничьих), которая выигрывает за счет привязки к данным Street View.
• Развертывание на одной GPU: Квантование INT8, sliding-window attention и выгрузка на CPU позволяют выполнять генерацию 100 секунд видео в 720p на одной NVIDIA RTX 4090 с пиковым потреблением памяти 20,53 ГиБ.

Ограничения и открытые вопросы

• Разрыв в долговременной пространственной памяти: Genie 3 по-прежнему превосходит модель по пространственной согласованности при возврате в локации после сложных перемещений камеры; обучение без зацикленных траекторий ограничивает удержание опорных точек.
• Деградация управления камерой при LoRA: Тонкая настройка на узкоспециализированных датасетах (например, кинематографических) улучшила следование стилю и эстетику, но ухудшила контроль камеры (19% побед против 37% поражений) из-за слабого разнообразия траекторий в целевых данных.
• Физическая точность в робототехнике: Хотя двухручные манипуляции вне распределения могут генерироваться через LoRA, видеодиффузия не гарантирует физику уровня исполнительных механизмов робота или соблюдение силомоментных ограничений.
• Изменения состояния за пределами кадра: Изменения вне поля зрения (например, тикающие невидимые часы) невозможно отследить исключительно визуальным поиском по KV-кэшу без явного внешнего символьного трекинга состояния агента.