Hy-Nomas: Towards Free-form Interactive World Generation

Qiaoling Chen; Jiaxiang Cheng; Xueqing Deng; Tiankai Hang; Ji Hou; Jiaqi Li; Yifan Liu; Tao Lu; Junshu Tang; Yu Tang; Yao Teng; Yu Tian; Heng Wang; Weizhi Wang; Xiyao Wang; Xilun Wu; Mingyu Yang; Yangbin Yu; Rui Zhao; Longjun Cao; Linghao Chen; Haoyi Duan; Jiaming Han; Mingji Han; Enhua Jiang; Shunkai Li; Yanzhe Liang; Qinwei Ma; Cong Wang; Lei Wang; Bing Wu; Ke Xing; Ray Ying; Zhentao Yu; Key Zhang; Yuan Zhou; Zhengguang Zhou; Kai Zou

Hy-Nomas: สู่การสร้างโลกเชิงโต้ตอบแบบอิสระ

Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian et al.

เผยแพร่ 2026-10-27cs.CV arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 การปรับใช้โมเดล text-to-video diffusion มาเป็นโมเดลโลกเชิงโต้ตอบมักประสบปัญหาข้อมูลรั่วไหล ลำดับการกระทำผิดพลาด การทำซ้ำการกระทำข้ามเซกเมนต์ และการสะสมความผิดพลาดจนหลุดกรอบ
🔧 นำเสนอโมเดล autoregressive DiT ขนาด 8B ที่ประกอบด้วย action-aware causal attention, แคปชันเชิงโครงสร้างตามลำดับเวลา, continuous camera cross-attention ที่สอดคล้องกับเฟรม, segment forcing และหลักสูตรการฝึกหลายขั้นตอน
📈 ในการประเมินโดยมนุษย์บน Hy-Nomas-Bench ตัว Hy-Nomas บรรลุอัตราการชนะ 65.0% เมื่อเทียบกับ HappyOyster-Directing และ 75.0% เมื่อเทียบกับ LingBot-World v2 ในด้านการปฏิบัติตามข้อความพร้อมต์แบบหลายรอบ

บทคัดย่อ

การสร้างโลกเชิงโต้ตอบกำหนดให้โมเดลต้องปฏิบัติตามคำสั่งที่ส่งเข้ามาอย่างต่อเนื่อง โดยยังคงรักษาประวัติบริบทและผลลัพธ์ของการกระทำที่เกี่ยวข้องไว้ได้ เราขอนำเสนอ Hy-Nomas ซึ่งเป็นโมเดลโลกวิดีโอ (video world model) ที่มีโครงข่ายหลักแบบ diffusion ขนาด 8B รองรับคำสั่งข้อความอิสระและการควบคุมมุมกล้องอย่างต่อเนื่องข้ามการโต้ตอบหลายรอบ โมเดลสามารถสร้างเซกเมนต์ที่มีความยาวผันแปรได้โดยมีเงื่อนไขจากข้อมูลนำเข้าปัจจุบันและประวัติที่บันทึกไว้ในแคช การออกแบบแกนหลักของเราคือการจับคู่แคปชันวิดีโอเชิงโครงสร้างเข้ากับ action-aware causal attention บริบทการบรรยายฉากยังคงสามารถเข้าถึงได้ข้ามเซกเมนต์ ในขณะที่คำสั่งการกระทำจะถูกจำกัดไว้เฉพาะกรอบเวลาที่กำหนดเท่านั้น ส่วน Prompt Enhancer (PE) ซึ่งเป็นโมเดลภาษาและการมองเห็นจะแปลงคำขอของผู้ใช้และประวัติการโต้ตอบแบบหลายโหมดให้กลายเป็นเงื่อนไขเชิงโครงสร้างสำหรับเซกเมนต์ถัดไป เราใช้หลักสูตรการฝึกหลายขั้นตอนที่ค่อยๆ แนะนำการสร้างแบบ causal, การโต้ตอบผ่านข้อความ, การควบคุมกล้อง และการฝึกบนประวัติที่สร้างขึ้นโดยตัวโมเดลเอง ตามด้วยการทำ diffusion distillation ในการประเมินโดยมนุษย์ Hy-Nomas แสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าโมเดลโลกที่มีอยู่ในปัจจุบัน เราได้เผยแพร่น้ำหนักโมเดล โค้ด และชุดเบेंचมาร์ก ควบคู่ไปกับเวิร์กโฟลว์การปรับแต่งน้ำหนักเบา เพื่อสนับสนุนงานวิจัยที่สามารถทำซ้ำได้เกี่ยวกับการสร้างโลกเชิงโต้ตอบ

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลโลกวิดีโอเชิงโต้ตอบ (Interactive video world models) ทำหน้าที่เหมือนสภาพแวดล้อมเสมือนจริงจำลองที่สร้างการสังเกตเชิงภาพในอนาคตเพื่อตอบสนองต่อการกระทำของผู้ใช้ที่เกิดขึ้นอย่างต่อเนื่อง ซึ่งแตกต่างจากระบบ text-to-video (T2V) ทั่วไปที่เรนเดอร์คลิปที่กำหนดไว้ล่วงหน้า โดยโมเดลโลกเชิงโต้ตอบจะต้อง:

รองรับคำสั่งที่เข้ามาอย่างต่อเนื่องในระหว่างกระบวนการสร้าง
จัดการได้ทั้งการแทรกแซงเชิงความหมาย (ข้อความอิสระ) และการนำทางเชิงพื้นที่ (ตำแหน่งท่าทางของกล้องแบบต่อเนื่อง)
ป้องกันไม่ให้การกระทำก่อนหน้าถูกนำมาทำซ้ำโดยไม่ตั้งใจในเซกเมนต์ถัดไป ในขณะที่ยังคงรักษาบริบทของฉากที่คงทนและผลลัพธ์ทางสายตาเอาไว้ได้
หลีกเลี่ยงความผิดพลาดสะสมที่รุนแรงระหว่างการ rollout แบบ autoregressive โดยไม่ทำให้เกิดปัญหาหน่วยความจำระเบิด

Hy-Nomas แก้ไขความท้าทายเหล่านี้ด้วยการปรับ bidirectional diffusion transformer ขนาด 8B (HunyuanVideo 1.5) ให้กลายเป็นโมเดลโลกวิดีโอแบบ autoregressive ทีละเซกเมนต์ในกรอบการทำงานเดียวกัน

แนวคิดสำคัญ

Action-Aware Causal Attention: แยกแยะระหว่างบริบทฉากเชิงบรรยายที่คงอยู่ถาวร ("head") และคำสั่งการกระทำที่จำกัดเฉพาะช่วงเวลา ("tails") บริบทเชิงบรรยายจะยังคงสามารถเข้าถึงได้ในเซกเมนต์ถัดๆ ไป ขณะที่โทเคนการกระทำจะถูกจำกัดให้อยู่เฉพาะในเซกเมนต์ต้นทางและขอบเขตเวลาของมันเท่านั้น เพื่อป้องกันการรันการกระทำซ้ำ
Continuous Camera Conditioning: ใช้การแปลงสัมพัทธ์แบบเฟรมต่อเฟรม $Δ P_{t} = P_{t - 1}^{- 1} P_{t}$ ซึ่งปรับมาตรฐาน (normalize) ด้วยขนาดการเคลื่อนไหวในระดับวิดีโอ และป้อนเข้าผ่าน cross-attention เฉพาะของแต่ละบล็อก
Prompt Enhancer (PE): โมเดลมัลติโมดอลวิชัน-ภาษาที่ผ่านการ fine-tune (พัฒนาบนพื้นฐานของ Qwen3.8-27B) ซึ่งจะแปลงเจตนาของผู้ใช้แบบหลายรอบและการสังเกตในประวัติศาสตร์ให้กลายเป็นเงื่อนไข JSON เชิงโครงสร้างที่ระบุการเปลี่ยนแปลงของฉาก แท็กของกล้อง และการกระทำที่บรรจุอยู่
Segment Forcing with Streaming Backward: ฝึกฝนตัวสร้าง autoregressive บนผลการทำนายแบบ denoised หนึ่งขั้นตอนของตัวเอง เพื่อให้ตรงกับการกระจายของข้อผิดพลาดในช่วงเวลา inference ในขณะที่ยังคงจำกัดการใช้หน่วยความจำไว้ได้
Distillation to 4 NFEs: กลั่นกรองกระบวนการสุ่มตัวอย่างแบบ Euler 100 ขั้นตอนให้เหลือเพียงการประเมินฟังก์ชันเครือข่าย 4 ครั้ง (NFEs) ต่อหนึ่งเซกเมนต์ โดยใช้การตั้งต้นด้วย Phased Consistency Model (PCM), Decoupled Distribution Matching Distillation (DDMD) และการปรับแต่งแบบ causal adversarial

ระเบียบวิธีวิจัย (พร้อมสมการสำคัญ)

การแทนค่าวิดีโอใน Latent Space

วิดีโอ RGB $X \in R^{B \times 3 \times F \times H \times W}$ ถูกบีบอัดผ่าน causal DCAE-V encoder $E$ ให้เป็น latent $Z$ : $Z = E (X) \in R^{B \times 32 \times F_{z} \times H_{z} \times W_{z}}, F_{z} = ⌊ \frac{F - 1}{4} ⌋ + 1, H_{z} = ⌊ \frac{H}{32} ⌋, W_{z} = ⌊ \frac{W}{32} ⌋$ ตำแหน่ง latent แต่ละตำแหน่งจะถูกฉายเข้าสู่ hidden space ขนาด 2,048 มิติของ DiT

ฟังก์ชันเป้าหมายในการฝึก (Training Objective)

โมเดลได้รับการฝึกผ่าน linear flow matching บน latent ที่สะอาด $Z$ และสัญญาณรบกวน $ϵ \sim N (0, I)$ : $Z_{t} = (1 - t) Z + t ϵ, V_{t} = ϵ - Z$ โครงข่ายจะทำนายความเร็ว $V_{t}$ โดยมีการกำกับดูแลด้วยค่า mean squared error

Action-Aware Causal Attention & Camera Conditioning

สำหรับเซกเมนต์ $j$ โทเคนของวิดีโอจะ attend ไปยังเซกเมนต์ในอดีตแบบ causal และ attend แบบ bidirectional ภายในเซกเมนต์ $j$ เอง ภายในแต่ละเซกเมนต์ โทเคน query ภายในหน้าต่างการกระทำจะ attend เฉพาะโทเคนข้อความของการกระทำนั้นและ environment head เท่านั้น ในส่วนของ cross-attention โทเคนภาพ $V$ จะ attend ไปยังโทเคนกล้องสัมพัทธ์ขนาด 64 มิติ $C$ : $V = V + CrossAttn (V, C)$

Segment Forcing

เพื่อเตรียมโมเดลให้พร้อมสำหรับการสะสมข้อผิดพลาดในเวลา inference เซกเมนต์ $s$ จะคำนวณ flow loss และอัปเดต KV cache สำหรับเซกเมนต์ $s + 1$ โดยใช้ latent ที่ผ่านการ denoise ขั้นตอนเดียว: $\tilde{x}_{s, t_{ctx}} = x_{s, t} + (t_{ctx} - t) \hat{v}_{s}, t_{ctx} \sim U (0.1, 0.3)$ Streaming backward จะปล่อย activation ระดับกลางออกไปทีละเซกเมนต์ ทำให้มีกราฟการคำนวณของเซกเมนต์เพียงเซกเมนต์เดียวเท่านั้นในหน่วยความจำ GPU

การประมาณค่า FLOP สำหรับ Distributed Packing

วิดีโอจะถูกแพ็กรวมเป็นแบทช์ได้สูงสุดถึง 360K โทเคน โดยปรับสมดุลตามการประมาณค่า FLOP ทางการคำนวณ: $F_{i} = α n_{i} + β A_{i}$ โดยที่ $n_{i}$ คือจำนวนโทเคนที่ถูกต้อง และ $A_{i} = \sum_{p \in i} ∣ {q : M_{pq}^{(i)} \neq = - \infty} ∣$ คือจำนวนคู่ query-key ที่ไม่ถูกมาสก์

ผลลัพธ์ (พร้อมตัวเลขที่สำคัญที่สุด)

ประเมินบน Hy-Nomas-Bench (สถานการณ์ทดสอบ 280 กรณีใน 4 ชุดเบenchmark):

Bench-1 (การโต้ตอบด้วยข้อความหลายรอบ):
- การปฏิบัติตามพร้อมต์: Hy-Nomas ทำได้ ชนะ 65.0% เทียบกับแพ้ 10.0% เมื่อเจอกับ HappyOyster-Directing และ ชนะ 75.0% เทียบกับแพ้ 8.3% เมื่อเจอกับ LingBot-World v2
- ความสมจริงตามหลักฟิสิกส์: Hy-Nomas ทำได้ ชนะ 45.0% เทียบกับแพ้ 11.7% เมื่อเจอกับ HappyOyster-Directing และ ชนะ 68.3% เทียบกับแพ้ 5.0% เมื่อเจอกับ LingBot-World v2
Bench-2 (การนำทางกล้อง): Hy-Nomas บรรลุอัตราการชนะสุทธิสูงกว่าจากการทดสอบ 100 วิถีการเคลื่อนที่: ชนะ 32.0% เทียบกับแพ้ 14.0% เมื่อเทียบกับ Genie 3 และ ชนะ 36.0% เทียบกับแพ้ 10.0% เมื่อเทียบกับ HappyOyster-Wandering
Bench-3 (ข้อความและการควบคุมกล้องร่วมกัน): บรรลุ อัตราการชนะ 75.0% (เทียบกับแพ้ 8.3%) ในการปฏิบัติตามคำสั่ง และ อัตราการชนะ 73.3% (เทียบกับแพ้ 1.7%) ในความสมจริงทางฟิสิกส์เมื่อเทียบกับ LingBot-World v2
Bench-4 (หน่วยความจำเชิงพื้นที่): Hy-Nomas มีประสิทธิภาพเหนือกว่า LingBot-World v2 (ชนะ 58.3% เทียบกับแพ้ 1.7%) และ HappyOyster (ชนะ 30.0% เทียบกับแพ้ 23.3%) แต่ยังตามหลัง Genie 3 (ชนะ 13.3% เทียบกับแพ้ 30.0% โดยเสมอกัน 56.7%) ซึ่งได้เปรียบจากการอ้างอิงข้อมูล Street View
การติดตั้งใช้งานบน GPU เดี่ยว: การทำ quantize แบบ INT8, การใช้ sliding-window attention และการ offload ลง CPU ช่วยให้สามารถสร้างภาพแบบ rollout ความละเอียด 720p ความยาว 100 วินาทีได้บน NVIDIA RTX 4090 เพียงตัวเดียว โดยใช้หน่วยความจำ GPU สูงสุดเพียง 20.53 GiB

ข้อจำกัดและคำถามปลายเปิด

ช่องว่างด้านหน่วยความจำเชิงพื้นที่ระยะยาว: Genie 3 ยังคงเหนือกว่าในด้านความสอดคล้องเชิงพื้นที่เมื่อวนกลับมายังตำแหน่งเดิมหลังจากมีการเคลื่อนที่ของกล้องที่ซับซ้อน การฝึกโดยไม่มีข้อมูลวิถีแบบวนลูปจำกัดความสามารถในการจดจำจุดอ้างอิง
การถดถอยของการควบคุมกล้องเมื่อใช้ LoRA: การ fine-tune บนชุดข้อมูลเฉพาะโดเมน (เช่น สไตล์ภาพยนตร์) ช่วยปรับปรุงการทำตามพร้อมต์และความสวยงามของภาพ แต่ทำให้ประสิทธิภาพการควบคุมกล้องลดลง (ชนะ 19% เทียบกับแพ้ 37%) เนื่องจากความหลากหลายของวิถีกล้องในข้อมูลปลายน้ำมีจำกัด
ความแม่นยำทางกายภาพในหุ่นยนต์: แม้ว่าจะสามารถสร้างการกระทำของแขนกลคู่ที่อยู่นอกชุดข้อมูลการฝึก (out-of-distribution) ผ่านการปรับแต่งด้วย LoRA ได้ แต่วิดีโอ diffusion ยังไม่ได้รับประกันฟิสิกส์ของหุ่นยนต์ในระดับการทำงานจริงหรือการตอบสนองต่อแรงและแรงบิด (force-torque compliance)
การเปลี่ยนแปลงสถานะนอกขอบเขตสายตา: การเปลี่ยนแปลงที่เกิดขึ้นนอกขอบเขตการมองเห็น (เช่น เข็มนาฬิกาที่เดินไปโดยไม่มีใครเห็น) ไม่สามารถตรวจจับได้ผ่านการดึงข้อมูลภาพจาก KV cache เพียงอย่างเดียว หากไม่มีการติดตามสถานะของ symbolic agent ภายนอกอย่างชัดเจน

คำศัพท์สำคัญ

Action-Aware Causal Attention: กลไกการมาสก์ attention ที่ช่วยให้บริบทของฉากเชิงบรรยายคงอยู่ข้ามเซกเมนต์ได้ ในขณะที่จำกัดคำสั่งการกระทำเฉพาะเจาะจงไว้เฉพาะในเซกเมนต์เป้าหมายและขอบเขตเวลาที่กำหนดเท่านั้น
Prompt Enhancer (PE): โมเดลภาษาและการมองเห็นที่ผ่านการ fine-tune เพื่อแปลงข้อความพร้อมต์ของผู้ใช้ คำสั่งกล้อง และเซกเมนต์วิดีโอในอดีตให้กลายเป็นแคปชันเชิงโครงสร้าง JSON และกำหนดช่วงเวลาสำหรับการสร้างทีละเซกเมนต์
Segment Forcing: รูปแบบการฝึกที่แต่ละเซกเมนต์วิดีโอจะมีเงื่อนไขอิงตามบริบทที่แคชไว้ ซึ่งประมาณค่าผ่านการ denoise ขั้นตอนเดียวจาก noisy latent ของตัวเอง ทำให้สอดคล้องกับการกระจายข้อมูลช่วง autoregressive inference ร่วมกับการใช้ streaming backward
DCAE-V: วิดีโอออโตเอ็นโค้ดเดอร์แบบ causal ที่ให้การบีบอัดเชิงพื้นที่ 32 เท่าและเชิงเวลา 4 เท่าเข้าสู่การแทนค่าแบบ latent ขนาด 32 แชนเนล
Hy-Nomas-Bench: ชุดเบนช์มาร์กที่มีกรณีทดสอบ 280 กรณี ครอบคลุมการโต้ตอบด้วยข้อความหลายรอบ การนำทางกล้อง การควบคุมแบบผสมผสาน และหน่วยความจำเชิงพื้นที่
Diffusion Distillation: กระบวนการเร่งความเร็วสองขั้นตอนที่ผสาน Phased Consistency Models (PCM), Decoupled DMD และการปรับแต่งแบบ causal adversarial เพื่อบีบอัด diffusion จาก 100 ขั้นตอนให้เหลือ 4 NFEs ต่อเซกเมนต์
Flex-Flash-Attention (FFA): เคอร์เนล attention จาก MagiAttention ที่ประมวลผลมาสก์ที่มีความหลากหลายและไม่เป็นระเบียบโดยใช้นิยาม slice ขนาดกะทัดรัด เพื่อหลีกเลี่ยงการคำนวณบล็อกที่ถูกมาสก์บนลำดับที่มีความยาวสูงสุดถึง 360K โทเคน
PixelUMM Decoder: ตัวถอดรหัสใน pixel-space บนพื้นฐาน diffusion ที่เข้ามาแทนที่การถอดรหัสแบบ VAE ดั้งเดิม เพื่อสร้างรายละเอียดพื้นผิวความถี่สูงขึ้นใหม่จาก latent ที่ถูกบีบอัดผ่านการสุ่มตัวอย่างแบบ distilled ขั้นตอนเดียว

คำถามที่พบบ่อย

Hy-Nomas สร้างขึ้นบนโมเดลพื้นฐานใด?

Hy-Nomas ใช้โครงข่ายหลัก HunyuanVideo 1.5 ขนาด 8B พารามิเตอร์ ซึ่งได้รับการปรับปรุงจาก DiT แบบ bidirectional ดั้งเดิม ให้กลายเป็น autoregressive causal diffusion transformer ร่วมกับการบีบอัดด้วย DCAE-V

Hy-Nomas หลีกเลี่ยงการทำซ้ำการกระทำที่เสร็จสิ้นไปแล้วได้อย่างไร?

ทำได้ผ่าน action-aware causal attention โดยการกระทำในอดีตจะถูกจัดประเภทเป็น 'action tails' ซึ่งโทเคนของมันจะถูกมาสก์ออกไม่ให้ปรากฏในเซกเมนต์ถัดไป ขณะที่ 'heads' ของสภาพแวดล้อมจะยังคงไม่ถูกมาสก์ไว้ใน KV cache

Hy-Nomas สามารถทำงานบน GPU ระดับผู้บริโภคทั่วไป เช่น NVIDIA RTX 4090 ได้หรือไม่?

ได้ เมื่อใช้การทำ INT8 KV-caching ร่วมกับการ quantize ค่าน้ำหนัก, sliding-window attention, การ offload การทำงานลง CPU และตัวถอดรหัส PixelUMM แบบ distilled ทำให้ Hy-Nomas สามารถสร้างวิดีโอ 720p ความยาว 100 วินาทีได้บนการ์ดจอ RTX 4090 ขนาด 24GB เพียงใบเดียว โดยใช้หน่วยความจำสูงสุด 20.53 GiB

การควบคุมการเคลื่อนไหวของกล้องอย่างต่อเนื่องทำได้อย่างไร?

วิถีของกล้องจะถูกเข้ารหัสเป็นการแปลงสัมพัทธ์แบบเฟรมต่อเฟรมที่ปรับมาตรฐานด้วยเปอร์เซ็นไทล์ที่ 99 ของการเคลื่อนที่ จากนั้นจะฉายให้เป็นเวกเตอร์ขนาด 64 มิติ แล้วป้อนเข้าไปยังแต่ละบล็อกของ MMDiT ผ่านกลไก cross-attention

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI