Hy-Nomas: Towards Free-form Interactive World Generation

Qiaoling Chen; Jiaxiang Cheng; Xueqing Deng; Tiankai Hang; Ji Hou; Jiaqi Li; Yifan Liu; Tao Lu; Junshu Tang; Yu Tang; Yao Teng; Yu Tian; Heng Wang; Weizhi Wang; Xiyao Wang; Xilun Wu; Mingyu Yang; Yangbin Yu; Rui Zhao; Longjun Cao; Linghao Chen; Haoyi Duan; Jiaming Han; Mingji Han; Enhua Jiang; Shunkai Li; Yanzhe Liang; Qinwei Ma; Cong Wang; Lei Wang; Bing Wu; Ke Xing; Ray Ying; Zhentao Yu; Key Zhang; Yuan Zhou; Zhengguang Zhou; Kai Zou

Hy-Nomas: نحو توليد حر وتفاعلي للعوالم الافتراضية

Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian et al.

تاريخ النشر 2026-10-27cs.CV arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تعاني عملية تكييف نماذج انتشار توليد الفيديو من النصوص إلى نماذج عوالم تفاعلية من تسرب المعلومات، وأخطاء ترتيب الأفعال، وتكرار الأفعال عبر المقاطع، وانحراف الخطأ التراكمي.
🔧 تقديم محول انتشار (DiT) انحداري ذاتي بحجم 8B يتميز بانتباه سببي مدرك للأفعال، وأوصاف نصية زمنية مهيكلة، وانتباه متبادل مستمر للكاميرا متوائم مع الإطارات، وإلزام المقاطع (segment forcing)، ومنهج تدريبي متعدد المراحل.
📈 في التقييمات البشرية على Hy-Nomas-Bench، يحقق Hy-Nomas معدل فوز بنسبة 65.0% مقارنة بـ HappyOyster-Directing و75.0% مقارنة بـ LingBot-World v2 في اتباع الأوامر النصية متعددة الجولات.

الملخص

يتطلب توليد العوالم التفاعلية قدرة النماذج على اتباع أوامر متعاقبة مع الحفاظ على السياق التاريخي ذي الصلة وعواقب الأفعال. نُقدّم Hy-Nomas، وهو نموذج عالم فيديو يعتمد على عمود فقري للانتشار (diffusion) بحجم 8B يدعم التعليمات النصية الحرة والتحكم المستمر في الكاميرا عبر جولات تفاعلية متعددة. يُولّد النموذج مقاطع متغيرة الطول مشروطة بالمدخلات الحالية والتاريخ المخزن مؤقتًا. يعتمد تصميمنا المحوري على مواءمة الأوصاف النصية المهيكلة للفيديو مع آلية انتباه سببي مدركة للأفعال (action-aware causal attention): يظل السياق الوصفي متاحًا عبر المقاطع، بينما تُقيد تعليمات الأفعال بنوافذها الزمنية المحددة. يقوم معزز الأوامر (Prompt Enhancer - PE) القائم على الرؤية واللغة بترجمة طلبات المستخدم وسجلات التفاعل متعددة الوسائط إلى شروط مهيكلة للمقطع التالي. يُدخل منهج تعليمي متعدد المراحل تدريجيًا كلاً من التوليد السببي، والتفاعل النصي، والتحكم في الكاميرا، والتدريب على السجلات المُولّدة ذاتيًا بواسطة النموذج، متبوعًا بتقطير نموذج الانتشار (diffusion distillation). في التقييم البشري، يُظهر Hy-Nomas أداءً متفوقًا على نماذج العوالم الحالية. نحن نتيح أوزان النموذج، والشيفرة البرمجية، ومعايير التقييم، بالإضافة إلى مسار عمل خفيف للتكييف، لدعم الأبحاث القابلة لإعادة الإنتاج في مجال التوليد التفاعلي للعوالم.

الملخص الأصلي (بالإنجليزية)

Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.

دليل القراءة

المشكلة والدافع

تعمل نماذج عوالم الفيديو التفاعلية كبيئات افتراضية محاكاة تُولّد مشاهدات بصرية مستقبلية استجابةً لأفعال المستخدم المستمرة. على عكس أنظمة تحويل النص إلى فيديو (T2V) القياسية التي تُنشئ مقاطع محددة مسبقًا، يجب على نموذج العالم التفاعلي أن:

يقبل الأوامر الواردة ديناميكيًا أثناء عملية التوليد.
يتعامل مع كل من التدخلات الدلالية (النصوص الحرة) والملاحة المكانية (وضعيات الكاميرا المستمرة).
يمنع تكرار الأفعال السابقة عن طريق الخطأ في المقاطع اللاحقة مع الاحتفاظ بسياق المشهد الدائم والعواقب البصرية.
يتجنب الانحراف التراكمي الشديد أثناء التوليد الانحداري الذاتي دون حدوث انفجار كارثي في استهلاك الذاكرة.

يعالج Hy-Nomas هذه التحديات عن طريق تكييف محول انتشار ثنائي الاتجاه بحجم 8B وهو (HunyuanVideo 1.5) ليصبح نموذج عالم فيديو انحداريًا ذاتيًا وموحدًا يعمل على مستوى المقاطع.

الأفكار الرئيسية

الانتباه السببي المدرك للأفعال (Action-Aware Causal Attention): يميز بين سياق المشهد الوصفي الدائم ("الرأس") وتعليمات الأفعال المحددة زمنيًا ("الذيول"). يظل السياق الوصفي متاحًا للمقاطع المستقبلية، بينما تقتصر رموز (tokens) الأفعال على مقطعها الأصلي وحدودها الزمنية، مما يمنع إعادة تنفيذ الفعل.
الاشتراط المستمر للكاميرا (Continuous Camera Conditioning): يستخدم تحويلات نسبية بين الإطارات $Δ P_{t} = P_{t - 1}^{- 1} P_{t}$ تمت تسويتها بواسطة مقاييس الحركة على مستوى الفيديو، وتُحقن عبر انتباه متبادل مخصص لكل كتلة.
معزز الأوامر (Prompt Enhancer - PE): نموذج رؤية ولغة متعدد الوسائط ومضبوط بدقة (مبني على Qwen3.8-27B) يترجم نية المستخدم متعددة الجولات والملاحظات السابقة إلى شروط JSON مهيكلة تحدد تغيرات المشهد، ووسوم الكاميرا، والأفعال المتضمنة.
إلزام المقاطع مع التمرير الخلفي المتدفق (Segment Forcing with Streaming Backward): يُدرّب المولد الانحداري الذاتي على تنبؤاته الخاصة الخالية من الضوضاء بخطوة واحدة لمطابقة توزيع الأخطاء في وقت الاستدلال مع إبقاء استهلاك الذاكرة محدودًا.
التقطير إلى 4 تقييمات لدالة الشبكة (NFEs): يقطر أخذ العينات بطريقة Euler المكونة من 100 خطوة إلى 4 تقييمات لدالة الشبكة فقط لكل مقطع، باستخدام تهيئة Phased Consistency Model (PCM)، وتقطير مطابقة التوزيع المفكك (DDMD)، والتحسين التنافسي السببي.

الطريقة (مع المعادلات الرئيسية)

تمثيل الفيديو في الفضاء الكامن

يُضغط فيديو RGB الذي أبعاده $X \in R^{B \times 3 \times F \times H \times W}$ عبر مشفر DCAE-V السببي $E$ إلى تمثيلات كامنة $Z$ : $Z = E (X) \in R^{B \times 32 \times F_{z} \times H_{z} \times W_{z}}, F_{z} = ⌊ \frac{F - 1}{4} ⌋ + 1, H_{z} = ⌊ \frac{H}{32} ⌋, W_{z} = ⌊ \frac{W}{32} ⌋$ يُسقط كل موضع كامن في الفضاء المخفي لـ DiT ذي الأبعاد 2,048.

هدف التدريب

يُدرّب النموذج عبر مطابقة التدفق الخطي (linear flow matching) على التمثيلات الكامنة النظيفة $Z$ وضوضاء $ϵ \sim N (0, I)$ : $Z_{t} = (1 - t) Z + t ϵ, V_{t} = ϵ - Z$ تتنبأ الشبكة بالسرعة المتجهة $V_{t}$ ، بإشراف يعتمد على متوسط مربع الخطأ (MSE).

الانتباه السببي المدرك للأفعال واشتراط الكاميرا

بالنسبة للمقطع $j$ ، تنتبه رموز الفيديو سببيًا للمقاطع السابقة وثنائيًا داخل المقطع $j$ نفسه. وداخل كل مقطع، تنتبه رموز الاستعلام الواقعة داخل نافذة الفعل فقط إلى الرموز النصية الخاصة بذلك الفعل ورأس البيئة. وفي الانتباه المتبادل، تنتبه الرموز البصرية $V$ إلى رموز الكاميرا النسبية $C$ ذات 64 بُعدًا: $V = V + CrossAttn (V, C)$

إلزام المقاطع (Segment Forcing)

لإعداد النموذج لمواجهة تراكم الأخطاء في وقت الاستدلال، يحسب المقطع $s$ خسارة التدفق الخاصة به ويحدّث ذاكرة التخزين المؤقت للقيم والمفاتيح (KV cache) للمقطع $s + 1$ باستخدام تمثيل كامن أزيلت منه الضوضاء بخطوة واحدة: $\tilde{x}_{s, t_{ctx}} = x_{s, t} + (t_{ctx} - t) \hat{v}_{s}, t_{ctx} \sim U (0.1, 0.3)$ يُحرر التمرير الخلفي المتدفق التنشيطات الوسيطة مقطعًا تلو الآخر، مما يبقي الرسم البياني الحسابي لمقطع واحد فقط داخل ذاكرة وحدة معالجة الرسوميات (GPU).

تقدير عمليات النقطة العائمة (FLOP) للتجميع الموزع

تُحزم الفيديوهات في دفعات تصل إلى 360 ألف رمز، موزونة حسب تقدير عمليات النقطة العائمة الحسابية: $F_{i} = α n_{i} + β A_{i}$ حيث $n_{i}$ هو عدد الرموز الصالحة، و $A_{i} = \sum_{p \in i} ∣ {q : M_{pq}^{(i)} \neq = - \infty} ∣$ هو عدد أزواج الاستعلام والمفتاح غير المحجوبة.

النتائج (مع أهم الأرقام)

تم التقييم على Hy-Nomas-Bench (280 سيناريو اختبار عبر 4 معايير تقييم):

Bench-1 (التفاعل النصي متعدد الجولات):
- اتباع التعليمات: حقق Hy-Nomas نسبة فوز 65.0% مقابل 10.0% خسارة أمام HappyOyster-Directing، ونسبة فوز 75.0% مقابل 8.3% خسارة أمام LingBot-World v2.
- المعقولية الفيزيائية: حقق Hy-Nomas نسبة فوز 45.0% مقابل 11.7% خسارة أمام HappyOyster-Directing، ونسبة فوز 68.3% مقابل 5.0% خسارة أمام LingBot-World v2.
Bench-2 (الملاحة بالكاميرا): حقق Hy-Nomas معدلات فوز صافية أعلى عبر 100 مسار: 32.0% فوز مقابل 14.0% خسارة أمام Genie 3، و36.0% فوز مقابل 10.0% خسارة أمام HappyOyster-Wandering.
Bench-3 (النص والكاميرا المتداخلان): حقق فوزًا بنسبة 75.0% (مقابل خسارة 8.3%) في اتباع التعليمات، وفوزًا بنسبة 73.3% (مقابل خسارة 1.7%) في المعقولية الفيزيائية أمام LingBot-World v2.
Bench-4 (الذاكرة المكانية): تفوق Hy-Nomas على LingBot-World v2 (فوز 58.3% مقابل خسارة 1.7%) وعلى HappyOyster (فوز 30.0% مقابل خسارة 23.3%)، لكنه تأخر عن Genie 3 (فوز 13.3% مقابل خسارة 30.0%، مع 56.7% تعادل)، والذي يستفيد من التأسيس على بيانات Street View.
التشغيل على وحدة معالجة رسوميات واحدة: أتاح التكميم بدقة INT8، وانتباه النافذة المنزلقة، وتفريغ البيانات إلى المعالج المركزي (CPU offloading) إنشاء مقاطع فيديو بدقة 720p لمدة 100 ثانية على بطاقة NVIDIA RTX 4090 واحدة بذاكرة ذروة بلغت 20.53 GiB.

جوانب القصور والأسئلة المفتوحة

فجوة الذاكرة المكانية طويلة المدى: لا يزال Genie 3 متفوقًا في الاتساق المكاني عند إعادة زيارة المواقع بعد تحركات معقدة للكاميرا؛ إذ يؤدي التدريب دون بيانات مسارات دائرية إلى تقليل الاحتفاظ بالنقاط المرجعية.
تراجع التحكم في الكاميرا مع LoRA: أدى الضبط الدقيق على مجموعات بيانات خاصة بمجال معين (مثل الأنماط السينمائية) إلى تحسين الالتزام بالأوامر والجماليات البصرية، ولكنه أدى إلى تدهور أداء التحكم في الكاميرا (19% فوز مقابل 37% خسارة) بسبب ضعف تنوع مسارات الكاميرا في البيانات اللاحقة.
الدقة الفيزيائية في الروبوتات: على الرغم من إمكانية توليد أفعال للأذرع الثنائية خارج التوزيع عبر تكييف LoRA، فإن نماذج انتشار الفيديو لا تضمن بطبيعتها الفيزياء الدقيقة للروبوت على مستوى التنفيذ أو التوافق مع القوة وعزم الدوران.
تغيرات الحالة خارج نطاق الرؤية: لا يمكن رصد التغيرات التي تحدث خارج مجال الرؤية (مثل دقات ساعة غير مرئية) بمجرد استرجاع KV البصري دون تتبع رمزي خارجي صريح لحالة الوكيل.

المصطلحات الرئيسية

Action-Aware Causal Attention: آلية حجب انتباه تسمح لسياق المشهد الوصفي بالاستمرار عبر المقاطع مع قصر تعليمات أفعال محددة بدقة على مقطعها المستهدف وحدودها الزمنية.
Prompt Enhancer (PE): نموذج رؤية ولغة مضبوط بدقة يحول مطالبات المستخدم النصية، وأوامر الكاميرا، ومقاطع الفيديو التاريخية إلى نصوص JSON مهيكلة وفترات زمنية للتوليد مقطعًا تلو الآخر.
Segment Forcing: مخطط تدريبي يُشترط فيه كل مقطع فيديو بسياق مخزن مؤقتًا يُقدّر عبر إزالة الضوضاء بخطوة واحدة من تمثيلاته الكامنة المشوشة، مما يطابق توزيع الاستدلال الانحداري الذاتي مع تمرير خلفي متدفق.
DCAE-V: مشفر تلقائي سببي للفيديو يوفر ضغطًا مكانيًا بمقدار 32 ضعفًا وضغطًا زمنيًا بمقدار 4 أضعاف في تمثيل كامن ذي 32 قناة.
Hy-Nomas-Bench: معيار تقييم يضم 280 حالة اختبار تغطي التفاعل النصي متعدد الجولات، والملاحة بالكاميرا، والتحكم المتداخل، والذاكرة المكانية.
Diffusion Distillation: مسار تسريع ثنائي المراحل يجمع بين Phased Consistency Models (PCM)، وDecoupled DMD، والتحسين التنافسي السببي لضغط نموذج انتشار من 100 خطوة إلى 4 تقييمات لدالة الشبكة (NFEs) لكل مقطع.
Flex-Flash-Attention (FFA): نواة انتباه من MagiAttention تنفذ أقنعة غير منتظمة وغير متجانسة باستخدام تعريفات شرائح مدمجة لتجنب حساب الكتل المحجوبة على تسلسلات تصل إلى 360 ألف رمز.
PixelUMM Decoder: مفكك تشفير في فضاء البكسل قائم على الانتشار يحل محل فك تشفير VAE القياسي لإعادة بناء تفاصيل الملمس عالية التردد من التمثيلات الكامنة المضغوطة عبر أخذ عينات مقطرة بخطوة واحدة.

أسئلة شائعة

ما هو النموذج الأساسي الذي يبنى عليه Hy-Nomas؟

يستخدم Hy-Nomas العمود الفقري لنموذج HunyuanVideo 1.5 ذي الـ 8 مليارات معلمة، بعد تكييفه من محول انتشار ثنائي الاتجاه أصلي إلى محول انتشار سببي انحداري ذاتي مع ضغط DCAE-V.

كيف يتجنب Hy-Nomas تكرار الأفعال المكتملة مسبقًا؟

من خلال الانتباه السببي المدرك للأفعال: تُصنف الأفعال السابقة على أنها 'ذيول أفعال' تُحجب رموزها عن المقاطع اللاحقة، بينما تظل 'رؤوس' البيئة غير محجوبة في ذاكرة KV المؤقتة.

هل يمكن تشغيل Hy-Nomas على وحدات معالجة الرسوميات الموجهة للمستهلكين مثل NVIDIA RTX 4090؟

نعم. بفضل التخزين المؤقت لـ KV وتكميم الأوزان بدقة INT8، وانتباه النافذة المنزلقة، وتفريغ المعالجة إلى CPU، ومفكك تشفير PixelUMM المقطر، يمكن لـ Hy-Nomas توليد فيديوهات بدقة 720p ولمدة 100 ثانية على بطاقة RTX 4090 واحدة بسعة 24 جيجابايت مع ذاكرة ذروة تصل إلى 20.53 GiB.

كيف يتم التحكم في حركات الكاميرا المستمرة؟

تُرمز مسارات الكاميرا في صورة تحويلات نسبية بين الإطارات بعد تسويتها بالاستناد إلى المئين 99 من الانتقالات، ثم تُسقط في متجهات ذات 64 بُعدًا وتُحقن في كل كتلة من كتل MMDiT عبر الانتباه المتبادل.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي