Hy-Nomas: 자유 형식 대화형 월드 생성을 향하여

논문 해설

문제 및 동기

대화형 비디오 월드 모델은 지속적인 사용자 행동에 반응하여 미래의 시각적 관측을 생성하는 시뮬레이션 가상 환경의 역할을 합니다. 사전에 지정된 클립을 렌더링하는 표준 텍스트-비디오(T2V) 시스템과 달리, 대화형 월드 모델은 다음을 수행해야 합니다:

1. 생성 과정 중에 동적으로 들어오는 명령을 수용해야 합니다.
2. 의미적 개입(자유 형식 텍스트)과 공간적 내비게이션(연속적인 카메라 포즈)을 모두 처리해야 합니다.
3. 영속적인 장면 맥락과 시각적 결과를 유지하면서도, 이전 행동이 후속 세그먼트에서 실수로 반복되지 않도록 방지해야 합니다.
4. 치명적인 메모리 폭발을 겪지 않으면서 자기회귀 롤아웃 중에 심각한 누적 오차 드리프트를 방지해야 합니다.

Hy-Nomas는 8B 양방향 확산 트랜스포머(HunyuanVideo 1.5)를 통합된 세그먼트 단위 자기회귀 비디오 월드 모델로 전환하여 이러한 문제를 해결합니다.

핵심 아이디어

• 행동 인지 인과적 어텐션(Action-Aware Causal Attention): 영속적인 설명적 장면 맥락("head")과 시간적으로 국소화된 행동 지시문("tails")을 구분합니다. 설명적 맥락은 미래 세그먼트에서도 계속 접근 가능하지만, 행동 토큰은 원래 생성된 세그먼트 및 시간적 경계로 제한되어 행동의 재실행을 방지합니다.
• 연속 카메라 조건화(Continuous Camera Conditioning): 비디오 수준의 모션 스케일로 정규화된 프레임 간 상대적 변환 $\Delta P_t=P_{t-1}^{-1}{P}_t$를 사용하며, 전용 블록별 크로스 어텐션을 통해 주입됩니다.
• Prompt Enhancer (PE): 다중 턴 사용자 의도와 이전 관측 기록을 장면 변화, 카메라 태그 및 포함된 행동을 명시하는 구조화된 JSON 조건으로 변환하는 파인튜닝된 멀티모달 비전-언어 모델(Qwen3.8-27B 기반)입니다.
• 스트리밍 역전파 기반 Segment Forcing: 자기회귀 생성기를 자체 1단계 디노이징 예측값으로 훈련하여 메모리를 제한된 상태로 유지하면서 추론 시점의 오차 분포와 일치시킵니다.
• 4 NFE로 증류: Phased Consistency Model(PCM) 초기화, Decoupled Distribution Matching Distillation(DDMD), 인과적 적대적 정제를 사용하여 100단계 Euler 샘플러를 세그먼트당 4회의 네트워크 함수 평가(NFE)로 증류합니다.

방법 (핵심 수식 포함)

잠재 공간 비디오 표현 (Latent Space Video Representation)

RGB 비디오 $X\in {\mathbb{R}}^{B\times 3\times F\times H\times W}$는 인과적 DCAE-V 인코더 $\mathcal{E}$를 통해 잠재 변수 $Z$로 압축됩니다: $$Z=\mathcal{E}(X)\in {\mathbb{R}}^{B\times 32\times F_z\times H_z\times W_z},F_z=\lfloor \frac{F-1}{4}\rfloor +1,H_z=\lfloor \frac{H}{32}\rfloor ,W_z=\lfloor \frac{W}{32}\rfloor$$ 각 잠재 위치는 2,048차원의 DiT 은닉 공간으로 투영됩니다.

훈련 목적 함수 (Training Objective)

모델은 깨끗한 잠재 변수 $Z$와 노이즈 $ϵ\sim \mathcal{N}(0,I)$에 대한 선형 flow matching을 통해 훈련됩니다: $$Z_t=(1-t)Z+tϵ,V_t=ϵ-Z$$ 네트워크는 속도 $V_t$를 예측하며, 평균 제곱 오차(MSE)로 지도학습됩니다.

행동 인지 인과적 어텐션 및 카메라 조건화 (Action-Aware Causal Attention & Camera Conditioning)

세그먼트 $j$의 경우, 비디오 토큰은 과거 세그먼트에 인과적으로 주목하고 세그먼트 $j$ 내에서는 양방향으로 주목합니다. 각 세그먼트 내에서 행동 윈도우 내부의 쿼리 토큰은 해당 행동의 텍스트 토큰과 환경 head에만 주목합니다. 크로스 어텐션에서 시각 토큰 $V$는 64차원 상대 카메라 토큰 $C$에 주목합니다: $$\tilde{V}=V+\mathrm{CrossAttn}(V,C)$$

Segment Forcing

추론 시점의 오차 누적에 모델을 대비시키기 위해, 세그먼트 $s$는 흐름 손실을 계산하고 1단계 디노이징된 잠재 변수를 사용하여 세그먼트 $s+1$에 대한 KV 캐시를 업데이트합니다: $${\tilde{\mathbf{x}}}_{s,t_{\mathrm{ctx}}}={\mathbf{x}}_{s,t}+(t_{\mathrm{ctx}}-t){\hat{\mathbf{v}}}_s,t_{\mathrm{ctx}}\sim \mathcal{U}(0.1,0.3)$$ 스트리밍 역전파는 중간 활성화 값을 세그먼트 단위로 해제하여 단 하나의 세그먼트 연산 그래프만 GPU 메모리에 유지합니다.

분산 패킹 FLOP 추정 (Distributed Packing FLOP Estimation)

비디오는 최대 360K 토큰까지 배치로 패킹되며, 추정된 연산 FLOP에 의해 균형을 맞춥니다: $$F_i=\alpha n_i+\beta A_i$$ 여기서 $n_i$는 유효 토큰의 수이며, $A_i={\sum }_{p\in i}|\{q:M_{pq}^{(i)}\ne -\infty \}|$는 마스킹되지 않은 쿼리-키 쌍의 수입니다.

결과 (주요 수치 중심)

Hy-Nomas-Bench(4개 벤치마크에 걸친 280개 테스트 시나리오)에서 평가되었습니다:

• Bench-1 (다중 턴 텍스트 상호작용):
  • 프롬프트 추종: Hy-Nomas는 HappyOyster-Directing 대비 65.0% 승 vs 10.0% 패, LingBot-World v2 대비 75.0% 승 vs 8.3% 패를 달성했습니다.
  • 물리적 타당성: Hy-Nomas는 HappyOyster-Directing 대비 45.0% 승 vs 11.7% 패, LingBot-World v2 대비 68.3% 승 vs 5.0% 패를 달성했습니다.
• Bench-2 (카메라 내비게이션): Hy-Nomas는 100개 궤적 전반에서 더 높은 순 승률을 달성했습니다: Genie 3 대비 32.0% 승 vs 14.0% 패, HappyOyster-Wandering 대비 36.0% 승 vs 10.0% 패.
• Bench-3 (텍스트 및 카메라 교차 제어): LingBot-World v2 대비 프롬프트 추종에서 75.0% 승(vs 8.3% 패), 물리적 타당성에서 73.3% 승(vs 1.7% 패)을 달성했습니다.
• Bench-4 (공간 메모리): Hy-Nomas는 LingBot-World v2(58.3% 승 vs 1.7% 패) 및 HappyOyster(30.0% 승 vs 23.3% 패)를 능가하지만, Street View 데이터에 기반한 Genie 3(13.3% 승 vs 30.0% 패, 무승부 56.7%)에는 뒤처집니다.
• 단일 GPU 배포: INT8 양자화, 슬라이딩 윈도우 어텐션, CPU 오프로딩을 통해 단일 NVIDIA RTX 4090에서 최대 GPU 메모리 20.53 GiB로 100초 분량의 720p 롤아웃을 수행할 수 있습니다.

한계점과 미해결 과제

• 장기 공간 메모리 격차: 복잡한 카메라 이동 후 특정 위치를 다시 방문할 때의 공간적 일관성 측면에서는 Genie 3가 여전히 우세합니다. 루프 형태의 궤적 데이터 없이 훈련되어 앵커 유지 능력이 제한적입니다.
• LoRA 카메라 성능 저하: 특정 도메인 데이터셋(예: 영화적 스타일)에 대한 파인튜닝은 프롬프트 준수도와 시각적 미감을 향상시켰으나, 다운스트림 데이터의 카메라 궤적 다양성 부족으로 인해 카메라 제어 성능이 저하되었습니다(19% 승 vs 37% 패).
• 로보틱스 분야의 물리적 정밀도: LoRA 적응을 통해 분포 외(OOD) 양팔 로봇 행동을 생성할 수 있지만, 비디오 확산 모델이 실행 수준의 로봇 물리학이나 힘-토크 순응성을 본질적으로 보장하지는 않습니다.
• 화면 밖 상태 변화: 시야 밖에서 발생하는 변화(예: 보이지 않는 곳에서 시계 바늘이 움직이는 것)는 명시적인 외부 기호 에이전트 상태 추적 없이는 시각적 KV 검색만으로 포착할 수 없습니다.