Hy-Nomas: Hướng tới Tạo Thế giới Tương tác Tự do

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình thế giới video tương tác đóng vai trò như các môi trường ảo mô phỏng, tạo ra các quan sát thị giác trong tương lai để phản hồi lại các hành động liên tục của người dùng. Không giống như các hệ thống chuyển văn bản thành video (T2V) tiêu chuẩn chỉ kết xuất các đoạn clip được chỉ định trước, một mô hình thế giới tương tác phải:

1. Tiếp nhận các câu lệnh đến một cách linh hoạt trong quá trình tạo.
2. Xử lý cả can thiệp ngữ nghĩa (văn bản tự do) lẫn điều hướng không gian (các tư thế camera liên tục).
3. Ngăn chặn các hành động trước đó bị lặp lại do nhầm lẫn trong các phân đoạn tiếp theo, đồng thời vẫn giữ lại ngữ cảnh cảnh quan lâu dài và các hệ quả thị giác.
4. Tránh hiện tượng trôi dạt do lỗi tích lũy nghiêm trọng trong quá trình triển khai tự hồi quy mà không gặp phải sự bùng nổ bộ nhớ thảm khốc.

Hy-Nomas giải quyết những thách thức này bằng cách điều chỉnh một diffusion transformer hai chiều 8B (HunyuanVideo 1.5) thành một mô hình thế giới video tự hồi quy theo từng phân đoạn thống nhất.

Các ý tưởng cốt lõi

• Action-Aware Causal Attention: Phân biệt giữa ngữ cảnh cảnh quan mang tính mô tả bền vững ("head") và các chỉ dẫn hành động cục bộ hóa theo thời gian ("tails"). Ngữ cảnh mô tả vẫn có thể truy cập được đối với các phân đoạn tương lai, trong khi các token hành động bị giới hạn trong phân đoạn gốc và ranh giới thời gian của chúng, ngăn chặn việc thực thi lại hành động.
• Điều kiện hóa camera liên tục (Continuous Camera Conditioning): Sử dụng các phép biến đổi tương đối giữa các khung hình liên tiếp $\Delta P_t=P_{t-1}^{-1}{P}_t$ được chuẩn hóa theo thang đo chuyển động ở cấp độ video và được đưa vào thông qua cross-attention chuyên dụng cho từng khối.
• Prompt Enhancer (PE): Một mô hình thị giác-ngôn ngữ đa phương thức được tinh chỉnh (dựa trên Qwen3.8-27B) giúp chuyển đổi ý định người dùng qua nhiều lượt và các quan sát lịch sử thành các điều kiện JSON có cấu trúc chỉ định các thay đổi cảnh quan, thẻ camera và các hành động chứa đựng.
• Segment Forcing với Streaming Backward: Huấn luyện bộ sinh tự hồi quy trên các dự đoán khử nhiễu một bước của chính nó để khớp với phân phối lỗi tại thời điểm suy luận trong khi vẫn giữ bộ nhớ trong giới hạn.
• Chưng cất xuống 4 NFE: Chưng cất bộ lấy mẫu Euler 100 bước xuống còn 4 lần đánh giá hàm mạng (NFE) cho mỗi phân đoạn bằng cách sử dụng khởi tạo Phased Consistency Model (PCM), Decoupled Distribution Matching Distillation (DDMD) và tinh chỉnh đối nghịch nhân quả.

Phương pháp (với các phương trình chính)

Biểu diễn video trong không gian tiềm ẩn

Video RGB $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$ được nén thông qua bộ mã hóa DCAE-V nhân quả $\mathcal{E}$ thành các biến tiềm ẩn $Z$: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ Mỗi vị trí tiềm ẩn được chiếu vào không gian ẩn DiT 2.048 chiều.

Mục tiêu huấn luyện

Mô hình được huấn luyện thông qua khớp dòng tuyến tính (linear flow matching) trên các biến tiềm ẩn sạch $Z$ và nhiễu $ϵ\sim \mathcal{N}(0,I)$: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ Mạng dự đoán vận tốc $V_t$, được giám sát bằng sai số bình phương trung bình (MSE).

Action-Aware Causal Attention & Điều kiện hóa Camera

Đối với phân đoạn $j$, các token video chú ý mang tính nhân quả đến các phân đoạn trước đó và hai chiều bên trong phân đoạn $j$. Trong mỗi phân đoạn, các token truy vấn (query) bên trong một cửa sổ hành động chỉ chú ý đến các token văn bản của hành động đó và phần môi trường head. Trong cross-attention, các token thị giác $V$ chú ý đến các token camera tương đối 64 chiều $C$: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

Để chuẩn bị cho mô hình đối phó với việc tích lũy lỗi tại thời điểm suy luận, phân đoạn $s$ tính toán tổn thất dòng chảy của nó và cập nhật KV cache cho phân đoạn $s+1$ bằng cách sử dụng biến tiềm ẩn được khử nhiễu một bước: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ Quá trình streaming backward giải phóng các kích hoạt trung gian theo từng phân đoạn, chỉ giữ lại đồ thị tính toán của một phân đoạn trong bộ nhớ GPU.

Ước tính FLOP đóng gói phân tán

Các video được đóng gói thành các lô lên tới 360K token, được cân bằng bởi FLOP tính toán ước tính: $$F_i=\alpha n_i+\beta A_i$$ trong đó $n_i$ là số lượng token hợp lệ, và $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$ là số lượng cặp truy vấn-khóa (query-key) không bị che (unmasked).

Kết quả (với các số liệu quan trọng nhất)

Được đánh giá trên Hy-Nomas-Bench (280 kịch bản kiểm thử trên 4 bộ đo chuẩn):

• Bench-1 (Tương tác văn bản nhiều lượt):
  • Khả năng tuân theo lời nhắc: Hy-Nomas đạt tỷ lệ thắng 65,0% so với thua 10,0% trước HappyOyster-Directing, và thắng 75,0% so với thua 8,3% trước LingBot-World v2.
  • Tính hợp lý về mặt vật lý: Hy-Nomas đạt thắng 45,0% so với thua 11,7% trước HappyOyster-Directing, và thắng 68,3% so với thua 5,0% trước LingBot-World v2.
• Bench-2 (Điều hướng Camera): Hy-Nomas đạt tỷ lệ thắng ròng cao hơn trên 100 quỹ đạo: thắng 32,0% so với thua 14,0% trước Genie 3, và thắng 36,0% so với thua 10,0% trước HappyOyster-Wandering.
• Bench-3 (Văn bản & Camera xen kẽ): Đạt thắng 75,0% (so với thua 8,3%) về khả năng tuân theo lời nhắc, và thắng 73,3% (so với thua 1,7%) về tính hợp lý vật lý trước LingBot-World v2.
• Bench-4 (Bộ nhớ không gian): Hy-Nomas vượt trội hơn LingBot-World v2 (thắng 58,3% so với thua 1,7%) và HappyOyster (thắng 30,0% so với thua 23,3%), nhưng xếp sau Genie 3 (thắng 13,3% so với thua 30,0%, với 56,7% hòa), vốn được hưởng lợi từ việc neo dữ liệu Street View.
• Triển khai trên GPU đơn: Lượng tử hóa INT8, cơ chế sliding-window attention và CPU offloading cho phép tạo chuỗi video 720p dài 100 giây trên một card NVIDIA RTX 4090 duy nhất với bộ nhớ GPU đỉnh chỉ 20,53 GiB.

Hạn chế và các câu hỏi mở

• Khoảng cách bộ nhớ không gian dài hạn: Genie 3 vẫn vượt trội hơn về tính nhất quán không gian khi quay lại các vị trí cũ sau các hành trình di chuyển camera phức tạp; việc huấn luyện mà không có dữ liệu quỹ đạo lặp vòng làm hạn chế khả năng giữ lại điểm neo.
• Sự suy giảm kiểm soát camera do LoRA: Việc tinh chỉnh trên các tập dữ liệu đặc thù theo miền (ví dụ: phong cách điện ảnh) đã cải thiện mức độ tuân thủ lời nhắc và tính thẩm mỹ thị giác nhưng làm giảm hiệu suất điều khiển camera (thắng 19% so với thua 37%) do sự thiếu hụt tính đa dạng của quỹ đạo camera trong dữ liệu hạ nguồn.
• Độ chính xác vật lý trong Robotics: Mặc dù các hành động của cánh tay kép ngoài phân phối có thể được tạo ra thông qua việc điều chỉnh LoRA, mô hình video diffusion vốn không đảm bảo được tính chất vật lý của robot ở mức độ thực thi hay sự tuân thủ lực-mô-men xoắn.
• Thay đổi trạng thái ngoài màn hình: Các thay đổi xảy ra bên ngoài trường nhìn (ví dụ: một chiếc đồng hồ đang chạy nhưng không được quan sát) không thể được nắm bắt hoàn toàn chỉ bằng việc truy xuất KV thị giác mà không có sự theo dõi trạng thái tác tử mang tính biểu trưng (symbolic) rõ ràng từ bên ngoài.