Hy-Nomas: Towards Free-form Interactive World Generation

Qiaoling Chen; Jiaxiang Cheng; Xueqing Deng; Tiankai Hang; Ji Hou; Jiaqi Li; Yifan Liu; Tao Lu; Junshu Tang; Yu Tang; Yao Teng; Yu Tian; Heng Wang; Weizhi Wang; Xiyao Wang; Xilun Wu; Mingyu Yang; Yangbin Yu; Rui Zhao; Longjun Cao; Linghao Chen; Haoyi Duan; Jiaming Han; Mingji Han; Enhua Jiang; Shunkai Li; Yanzhe Liang; Qinwei Ma; Cong Wang; Lei Wang; Bing Wu; Ke Xing; Ray Ying; Zhentao Yu; Key Zhang; Yuan Zhou; Zhengguang Zhou; Kai Zou

Hy-Nomas: मुक्त-प्रारूप संवादात्मक विश्व निर्माण की ओर

Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian et al.

प्रकाशित 2026-10-27cs.CV arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 टेक्स्ट-टू-वीडियो डिफ्यूजन मॉडल को संवादात्मक विश्व मॉडल में अनुकूलित करने पर जानकारी का रिसाव, क्रिया क्रम त्रुटियां, अंतर-सेगमेंट क्रिया दोहराव और संचयी त्रुटि विचलन जैसी समस्याएं आती हैं।
🔧 यह एक 8B ऑटोरेग्रेसिव DiT प्रस्तुत करता है जिसमें क्रिया-जागरूक कारणिक ध्यान, संरचित कालानुक्रमिक कैप्शन, फ्रेम-संरेखित निरंतर कैमरा क्रॉस-अटेंशन, सेगमेंट फोर्सिंग और एक बहु-चरणीय प्रशिक्षण पाठ्यक्रम शामिल है।
📈 Hy-Nomas-Bench पर मानव मूल्यांकन में, Hy-Nomas बहु-चरणीय टेक्स्ट प्रॉम्प्ट अनुपालन में HappyOyster-Directing पर 65.0% और LingBot-World v2 पर 75.0% जीत दर हासिल करता है।

सार

संवादात्मक विश्व निर्माण (Interactive world generation) के लिए आवश्यक है कि मॉडल प्रासंगिक इतिहास और क्रिया परिणामों को बनाए रखते हुए क्रमिक आदेशों का पालन करें। हम Hy-Nomas प्रस्तुत करते हैं, जो 8B डिफ्यूजन बैकबोन वाला एक वीडियो विश्व मॉडल है और कई संवादात्मक चरणों में मुक्त-प्रारूप टेक्स्ट निर्देशों तथा निरंतर कैमरा नियंत्रण का समर्थन करता है। यह वर्तमान इनपुट और कैश्ड इतिहास के आधार पर परिवर्तनीय-लंबाई वाले सेगमेंट उत्पन्न करता है। हमारा मुख्य डिज़ाइन संरचित वीडियो कैप्शन को क्रिया-जागरूक कारणिक ध्यान (action-aware causal attention) के साथ संरेखित करता है: विवरणात्मक संदर्भ विभिन्न सेगमेंटों में सुलभ रहता है, जबकि क्रिया निर्देशों को केवल उनकी निर्दिष्ट समयावधियों तक ही सीमित रखा जाता है। एक विज़न-लैंग्वेज Prompt Enhancer (PE) उपयोगकर्ता के अनुरोधों और मल्टीमॉडल संवादात्मक इतिहास को अगले सेगमेंट के लिए संरचित स्थितियों में परिवर्तित करता है। एक बहु-चरणीय पाठ्यक्रम (multi-stage curriculum) क्रमिक रूप से कारणिक जनरेशन, टेक्स्ट इंटरैक्शन, कैमरा नियंत्रण और मॉडल-जनित इतिहास पर प्रशिक्षण प्रदान करता है, जिसके बाद डिफ्यूजन डिस्टिलेशन किया जाता है। मानव मूल्यांकन में, Hy-Nomas मौजूदा विश्व मॉडलों की तुलना में बेहतर प्रदर्शन दिखाता है। हम संवादात्मक विश्व निर्माण पर पुनरुत्पादनीय अनुसंधान का समर्थन करने के लिए हल्के अनुकूलन वर्कफ़्लो के साथ मॉडल वेट, कोड और बेंचमार्क जारी करते हैं।

मूल सार (अंग्रेज़ी)

Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.

पढ़ने की गाइड

समस्या और प्रेरणा

संवादात्मक वीडियो विश्व मॉडल (Interactive video world models) सिम्युलेटेड वर्चुअल वातावरण के रूप में कार्य करते हैं जो उपयोगकर्ता की निरंतर क्रियाओं के जवाब में भविष्य के दृश्य अवलोकन उत्पन्न करते हैं। मानक टेक्स्ट-टू-वीडियो (T2V) प्रणालियों के विपरीत, जो पूर्व-निर्धारित क्लिप प्रस्तुत करती हैं, एक संवादात्मक विश्व मॉडल को निम्नलिखित कार्य करने चाहिए:

जनरेशन के दौरान गतिशील रूप से आने वाले आदेशों को स्वीकार करना।
सिमेंटिक हस्तक्षेप (मुक्त-प्रारूप टेक्स्ट) और स्थानिक नेविगेशन (निरंतर कैमरा पोज़) दोनों को संभालना।
पिछले कार्यों को बाद के सेगमेंट में गलती से दोहराए जाने से रोकना, जबकि स्थायी दृश्य संदर्भ और दृश्य परिणामों को बनाए रखना।
विनाशकारी मेमोरी विस्तार के बिना ऑटोरेग्रेसिव रोलआउट के दौरान गंभीर संचयी विचलन (compounding drift) से बचना।

Hy-Nomas एक 8B द्विदिशी डिफ्यूजन ट्रांसफॉर्मर (HunyuanVideo 1.5) को एक एकीकृत, सेगमेंट-वार ऑटोरेग्रेसिव वीडियो विश्व मॉडल में अनुकूलित करके इन चुनौतियों का समाधान करता है।

मुख्य विचार

क्रिया-जागरूक कारणिक ध्यान (Action-Aware Causal Attention): यह स्थायी विवरणात्मक दृश्य संदर्भ ("head") और अस्थायी रूप से स्थानीयकृत क्रिया निर्देशों ("tails") के बीच अंतर करता है। विवरणात्मक संदर्भ भविष्य के सेगमेंट के लिए सुलभ रहता है, जबकि क्रिया टोकन केवल उनके मूल सेगमेंट और लौकिक सीमाओं तक सीमित रहते हैं, जिससे क्रिया को दोबारा निष्पादित होने से रोका जा सके।
निरंतर कैमरा कंडीशनिंग (Continuous Camera Conditioning): फ्रेम-दर-फ्रेम सापेक्ष परिवर्तनों $Δ P_{t} = P_{t - 1}^{- 1} P_{t}$ का उपयोग करता है जो वीडियो-स्तरीय गति पैमानों द्वारा सामान्यीकृत होते हैं और समर्पित प्रति-ब्लॉक क्रॉस-अटेंशन के माध्यम से इंजेक्ट किए जाते हैं।
Prompt Enhancer (PE): एक फाइन-ट्यून किया गया मल्टीमॉडल विज़न-लैंग्वेज मॉडल (Qwen3.8-27B पर आधारित) जो बहु-चरणीय उपयोगकर्ता इरादे और ऐतिहासिक अवलोकनों को संरचित JSON स्थितियों में अनुवादित करता है, जो दृश्य परिवर्तन, कैमरा टैग और शामिल क्रियाओं को निर्दिष्ट करते हैं।
स्ट्रीमिंग बैकवर्ड के साथ सेगमेंट फोर्सिंग (Segment Forcing with Streaming Backward): मेमोरी को सीमित रखते हुए इनफेरेंस-समय त्रुटि वितरण से मेल खाने के लिए ऑटोरेग्रेसिव जनरेटर को अपनी स्वयं की एकल-चरणीय डिनॉइज़्ड भविष्यवाणियों पर प्रशिक्षित करता है।
4 NFEs तक डिस्टिलेशन (Distillation to 4 NFEs): Phased Consistency Model (PCM) आरंभीकरण, Decoupled Distribution Matching Distillation (DDMD), और कारणिक प्रतिकूल शोधन का उपयोग करके प्रति सेगमेंट 100-चरणीय Euler सैम्पलर को 4 नेटवर्क फ़ंक्शन मूल्यांकन (NFEs) तक डिस्टिल करता है।

विधि (प्रमुख समीकरणों के साथ)

लेटेंट स्पेस वीडियो निरूपण

RGB वीडियो $X \in R^{B \times 3 \times F \times H \times W}$ को एक कारणिक DCAE-V एनकोडर $E$ के माध्यम से लेटेंट्स $Z$ में संपीड़ित किया जाता है: $Z = E (X) \in R^{B \times 32 \times F_{z} \times H_{z} \times W_{z}}, F_{z} = ⌊ \frac{F - 1}{4} ⌋ + 1, H_{z} = ⌊ \frac{H}{32} ⌋, W_{z} = ⌊ \frac{W}{32} ⌋$ प्रत्येक लेटेंट स्थिति को 2,048-आयामी DiT हिडन स्पेस में प्रोजेक्ट किया जाता है।

प्रशिक्षण उद्देश्य

मॉडल को स्वच्छ लेटेंट्स $Z$ और नॉइज़ $ϵ \sim N (0, I)$ पर लीनियर फ्लो मैचिंग के माध्यम से प्रशिक्षित किया जाता है: $Z_{t} = (1 - t) Z + t ϵ, V_{t} = ϵ - Z$ नेटवर्क वेग $V_{t}$ की भविष्यवाणी करता है, जिसे माध्य वर्ग त्रुटि (MSE) के साथ पर्यवेक्षित किया जाता है।

क्रिया-जागरूक कारणिक ध्यान और कैमरा कंडीशनिंग

सेगमेंट $j$ के लिए, वीडियो टोकन पिछले सेगमेंट पर कारणिक रूप से और सेगमेंट $j$ के भीतर द्विदिशी रूप से ध्यान देते हैं। प्रत्येक सेगमेंट के भीतर, क्रिया विंडो के अंदर क्वेरी टोकन केवल उस क्रिया के टेक्स्ट टोकन और पर्यावरण हेड पर ध्यान देते हैं। क्रॉस-अटेंशन में, विज़ुअल टोकन $V$ 64-D सापेक्ष कैमरा टोकन $C$ पर ध्यान देते हैं: $V = V + CrossAttn (V, C)$

सेगमेंट फोर्सिंग

मॉडल को इनफेरेंस-समय त्रुटि संचय के लिए तैयार करने हेतु, सेगमेंट $s$ अपने फ्लो लॉस की गणना करता है और एकल-चरणीय डिनॉइज़्ड लेटेंट का उपयोग करके सेगमेंट $s + 1$ के लिए KV कैश को अपडेट करता है: $\tilde{x}_{s, t_{ctx}} = x_{s, t} + (t_{ctx} - t) \hat{v}_{s}, t_{ctx} \sim U (0.1, 0.3)$ स्ट्रीमिंग बैकवर्ड मध्यवर्ती सक्रियणों को सेगमेंट-दर-सेगमेंट मुक्त करता है, जिससे GPU मेमोरी में केवल एक सेगमेंट का कंप्यूटेशन ग्राफ़ ही रहता है।

वितरित पैकिंग FLOP अनुमान

वीडियो को 360K टोकन तक के बैचों में पैक किया जाता है, जिसे अनुमानित कम्प्यूटेशनल FLOPs द्वारा संतुलित किया जाता है: $F_{i} = α n_{i} + β A_{i}$ जहाँ $n_{i}$ वैध टोकनों की संख्या है, और $A_{i} = \sum_{p \in i} ∣ {q : M_{pq}^{(i)} \neq = - \infty} ∣$ अनमास्क्ड क्वेरी-की जोड़ों की संख्या है।

परिणाम (सबसे महत्वपूर्ण संख्याओं के साथ)

Hy-Nomas-Bench (4 बेंचमार्क में 280 परीक्षण परिदृश्य) पर मूल्यांकन किया गया:

Bench-1 (बहु-चरणीय टेक्स्ट इंटरैक्शन):
- प्रॉम्प्ट अनुपालन: Hy-Nomas HappyOyster-Directing के विरुद्ध 65.0% जीत बनाम 10.0% हार, और LingBot-World v2 के विरुद्ध 75.0% जीत बनाम 8.3% हार प्राप्त करता है।
- भौतिक विश्वसनीयता: Hy-Nomas HappyOyster-Directing के विरुद्ध 45.0% जीत बनाम 11.7% हार, और LingBot-World v2 के विरुद्ध 68.3% जीत बनाम 5.0% हार प्राप्त करता है।
Bench-2 (कैमरा नेविगेशन): Hy-Nomas 100 प्रक्षेपवक्रों में उच्च शुद्ध जीत दर प्राप्त करता है: Genie 3 के विरुद्ध 32.0% जीत बनाम 14.0% हार, और HappyOyster-Wandering के विरुद्ध 36.0% जीत बनाम 10.0% हार।
Bench-3 (इंटरलीव्ड टेक्स्ट और कैमरा): LingBot-World v2 के विरुद्ध प्रॉम्प्ट अनुपालन में 75.0% जीत (बनाम 8.3% हार), और भौतिक विश्वसनीयता में 73.3% जीत (बनाम 1.7% हार) प्राप्त करता है।
Bench-4 (स्थानिक मेमोरी): Hy-Nomas LingBot-World v2 (58.3% जीत बनाम 1.7% हार) और HappyOyster (30.0% जीत बनाम 23.3% हार) से बेहतर प्रदर्शन करता है, लेकिन Genie 3 (13.3% जीत बनाम 30.0% हार, 56.7% टाई के साथ) से पीछे रहता है, जिसे Street View ग्राउंडिंग का लाभ मिलता है।
सिंगल-GPU परिनियोजन: INT8 परिमाणीकरण (quantization), स्लाइडिंग-विंडो अटेंशन, और CPU ऑफलोडिंग 20.53 GiB पीक GPU मेमोरी के साथ एकल NVIDIA RTX 4090 पर 100-सेकंड के 720p रोलआउट को सक्षम बनाते हैं।

सीमाएं और खुले प्रश्न

दीर्घकालिक स्थानिक मेमोरी अंतर: जटिल कैमरा भ्रमण के बाद स्थानों पर दोबारा जाने पर स्थानिक स्थिरता में Genie 3 बेहतर बना रहता है; लूप किए गए प्रक्षेपवक्र डेटा के बिना प्रशिक्षण एंकर प्रतिधारण को सीमित करता है।
LoRA कैमरा रिग्रेशन: डोमेन-विशिष्ट डेटासेट (जैसे, सिनेमाई शैलियों) पर फाइन-ट्यूनिंग ने प्रॉम्प्ट पालन और दृश्य सौंदर्य में सुधार किया, लेकिन डाउनस्ट्रीम डेटा में खराब कैमरा प्रक्षेपवक्र विविधता के कारण कैमरा नियंत्रण प्रदर्शन में गिरावट आई (19% जीत बनाम 37% हार)।
रोबोटिक्स में भौतिक सटीकता: हालांकि आउट-ऑफ-डिस्ट्रिब्यूशन दोहरे-हाथ वाली क्रियाएं LoRA अनुकूलन के माध्यम से उत्पन्न की जा सकती हैं, वीडियो डिफ्यूजन स्वाभाविक रूप से निष्पादन-स्तरीय रोबोट भौतिकी या बल-टॉर्क अनुपालन की गारंटी नहीं देता है।
ऑफ-स्क्रीन स्थिति परिवर्तन: दृश्य क्षेत्र के बाहर होने वाले परिवर्तनों (जैसे, अनदेखी घड़ी की टिक-टिक) को स्पष्ट बाहरी प्रतीकात्मक एजेंट स्थिति ट्रैकिंग के बिना विशुद्ध रूप से दृश्य KV पुनर्प्राप्ति द्वारा कैप्चर नहीं किया जा सकता है।

मुख्य शब्द

Action-Aware Causal Attention: एक अटेंशन मास्किंग तंत्र जो विशिष्ट क्रिया निर्देशों को उनके लक्षित सेगमेंट और लौकिक सीमाओं तक सख्ती से सीमित रखते हुए विवरणात्मक दृश्य संदर्भ को सभी सेगमेंटों में बनाए रखने की अनुमति देता है।
Prompt Enhancer (PE): एक फाइन-ट्यून किया गया विज़न-लैंग्वेज मॉडल जो उपयोगकर्ता के टेक्स्ट प्रॉम्प्ट, कैमरा कमांड और ऐतिहासिक वीडियो सेगमेंट को सेगमेंट-दर-सेगमेंट जनरेशन के लिए संरचित JSON कैप्शन और अवधियों में परिवर्तित करता है।
Segment Forcing: एक प्रशिक्षण योजना जहाँ प्रत्येक वीडियो सेगमेंट अपने स्वयं के नॉइज़ी लेटेंट्स के एकल-चरणीय डिनॉइज़िंग के माध्यम से अनुमानित कैश्ड संदर्भ पर आधारित होता है, जो स्ट्रीमिंग बैकवर्ड के साथ ऑटोरेग्रेसिव इनफेरेंस वितरण से मेल खाता है।
DCAE-V: एक कारणिक वीडियो ऑटोएनकोडर जो 32-चैनल लेटेंट निरूपण में 32x स्थानिक और 4x लौकिक संपीड़न प्रदान करता है।
Hy-Nomas-Bench: बहु-चरणीय टेक्स्ट इंटरैक्शन, कैमरा नेविगेशन, इंटरलीव्ड नियंत्रण और स्थानिक मेमोरी पर 280 परीक्षण मामलों का एक बेंचमार्क।
Diffusion Distillation: एक दो-चरणीय त्वरण पाइपलाइन जो प्रति सेगमेंट 100-चरणीय डिफ्यूजन को 4 NFEs में संपीड़ित करने के लिए Phased Consistency Models (PCM), Decoupled DMD, और कारणिक प्रतिकूल शोधन को जोड़ती है।
Flex-Flash-Attention (FFA): MagiAttention का एक अटेंशन कर्नेल जो 360K टोकन तक के अनुक्रमों पर मास्क्ड ब्लॉक्स की गणना से बचने के लिए कॉम्पैक्ट स्लाइस परिभाषाओं का उपयोग करके विषम, अनियमित मास्क को निष्पादित करता है।
PixelUMM Decoder: एक डिफ्यूजन-आधारित पिक्सेल-स्पेस डिकोडर जो एकल-चरणीय डिस्टिल्ड सैंपलिंग के माध्यम से संपीड़ित लेटेंट्स से उच्च-आवृत्ति बनावट विवरणों को पुनर्निर्मित करने के लिए मानक VAE डिकोडिंग को प्रतिस्थापित करता है।

प्रश्न

Hy-Nomas किस बेस मॉडल पर आधारित है?

Hy-Nomas 8B-पैरामीटर वाले HunyuanVideo 1.5 बैकबोन का उपयोग करता है, जिसे इसके मूल द्विदिशी DiT से DCAE-V संपीड़न के साथ एक ऑटोरेग्रेसिव कारणिक डिफ्यूजन ट्रांसफॉर्मर में अनुकूलित किया गया है।

Hy-Nomas पहले से पूर्ण किए गए कार्यों को दोहराने से कैसे बचाता है?

क्रिया-जागरूक कारणिक ध्यान के माध्यम से: पिछले कार्यों को 'action tails' के रूप में वर्गीकृत किया जाता है जिनके टोकन बाद के सेगमेंट से मास्क कर दिए जाते हैं, जबकि पर्यावरणीय 'heads' KV कैश में अनमास्क्ड रहते हैं।

क्या Hy-Nomas उपभोक्ता GPUs जैसे NVIDIA RTX 4090 पर चल सकता है?

हाँ। INT8 KV-कैशिंग और वेट क्वांटाइजेशन, स्लाइडिंग-विंडो अटेंशन, CPU ऑफलोडिंग, और एक डिस्टिल्ड PixelUMM डिकोडर का उपयोग करके, Hy-Nomas 20.53 GiB पीक मेमोरी के साथ एकल 24GB RTX 4090 पर 100-सेकंड के 720p वीडियो उत्पन्न कर सकता है।

निरंतर कैमरा गतिविधियों को कैसे नियंत्रित किया जाता है?

कैमरा प्रक्षेपवक्र को फ्रेम-दर-फ्रेम सापेक्ष परिवर्तनों के रूप में एन्कोड किया जाता है, जो ट्रांसलेशन के 99वें पर्सेंटाइल द्वारा सामान्यीकृत होते हैं, 64-D वैक्टर में प्रोजेक्ट किए जाते हैं, और क्रॉस-अटेंशन के माध्यम से प्रत्येक MMDiT ब्लॉक में इंजेक्ट किए जाते हैं।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें