[논문리뷰] Duo: A Reciprocal World Model for Full-Duplex Interaction

링크: 논문 PDF로 바로 열기

저자: Hengyuan Cao, Biao Gong, Guoshan Lu, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Reciprocal World Model (RWM): 지능(Intelligence)과 물리적 현실(Physical Reality)을 똑같이 근본적인 world의 구성 요소로 보는 world model입니다. 생성된 world와 real world가 full-duplex, real-time으로 서로의 audio·video를 계속 perceive하고, 상대가 행동하는 중에도 respond, interrupt하거나 침묵할 수 있습니다.
• Intent / Realization Module: Intent는 interaction의 기반이 되는 cognition을 맡습니다. multimodal language backbone이 chunk마다 <speak>+text 또는 <wait>를 생성합니다. Realization은 이 hidden states를 condition으로 받아 assistant의 video와 stereo audio를 함께 생성하는 causal audiovisual Diffusion Transformer(DiT)입니다.
• Chunk: interaction을 나누는 고정 시간 단위입니다. 17 video frames(24fps 기준 약 0.708 s)이며, 단어·문장·turn 경계와 맞출 필요가 없습니다.
• Dual Rollout Distillation: DMD 학습 중에 frozen Intent Module이 마지막 assistant turn을 autoregressive하게 직접 생성합니다(language rollout). 동시에 Realization Module은 자신이 생성한 audiovisual history 위에서 다음 chunk를 생성합니다(media rollout). 이를 통해 train-inference distribution shift를 줄입니다.
• DMD (Distribution Matching Distillation): frozen real-score model과 trainable fake-score model의 clean estimate 차이로 generator를 업데이트합니다. 이 방식으로 causal model을 4-step chunk-causal generator로 distill합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 다루는 핵심 문제는 기존 world model 안에 "대화할 상대"가 없다는 점입니다. 저자들은 실시간으로 사용자를 perceive하고 응답하는 지능을 world 내부에 넣고자 합니다. Genie, Dreamer 같은 기존 world model은 장면의 dynamics와 appearance를 점점 사실적으로 simulate합니다. 하지만 사용자는 keyboard/mouse, gamepad, text prompt처럼 자유도가 낮은 입력으로만 world를 조작하고, reasoning과 decision-making은 world 바깥의 control로 남아 있습니다. 저자들은 이런 world가 정확할 수는 있어도 "lifeless"하다고 지적합니다.

Baseline 계열별 한계는 다음과 같습니다.

• MiniMax-H3 같은 audio-visual video generative model에서 language model은 diffusion model의 instruction encoder 역할에 그칩니다. 말할지 기다릴지를 스스로 결정하는 participation decision은 하지 않습니다.
• Moshi와 Qwen-Omni 같은 full-duplex 계열은 speech streaming에 집중합니다. 다만 Wan-Streamer, ELLSA처럼 audio-visual이나 gesture·expression으로 확장한 사례도 related work에 함께 소개됩니다.
• Streaming 생성에서는 학습 때 recorded text와 recorded media history를 condition으로 쓰지만, 실제 inference에서는 둘 다 시스템이 직접 만든 것입니다. 이 distribution shift가 문제가 됩니다.
• Temporal patch가 chunk 경계를 넘으면 미래 frame 정보가 새어 들어와 causality가 깨질 위험이 있습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 RWM의 modular instantiation인 Duo v1을 제안합니다. Duo v1은 Intent Module과 causal audiovisual Realization Module을 Intent의 hidden states로 연결한 구조입니다 [Figure 2].

Figure 2 — Duo v1 전체 구조

아키텍처

• Intent Module: pretrained multimodal language backbone(Bai et al., 2025 인용, 참고문헌상 Qwen3-VL technical report로 보임)을 LoRA로 fine-tuning합니다. Chunk마다 <speak>/<wait> action과 text를 생성합니다.
• Causal visual encoding: temporal group이 chunk 경계를 넘지 않도록, 17-frame chunk의 마지막 pair를 (16,16)으로 반복 구성합니다. 이렇게 해서 future frame 누출을 막습니다.
• Realization Module: MiniMax-H3 weights로 초기화한 joint causal DiT입니다. Flow matching으로 학습하고, temporal RoPE를 실제 playback time(25 ms 단위)에 맞춥니다.
• Attention mask: chunk k의 noisy media는 reference, global instruction, 이전 chunk의 clean media, 현재 chunk의 intent hidden states만 볼 수 있습니다. 자신의 clean target이나 미래 chunk는 보지 못합니다.

3-stage 학습

• Stage 1 (Intent SFT): 대부분의 chunk가 <wait>이라서 생기는 collapse를 Action-aware rebalancing으로 막습니다. 또 일부러 truncate·repeat하거나 opening을 누락시킨 history로 학습해 recovery 능력을 기릅니다.
• Stage 2 (Realization): Intent Module을 freeze한 상태에서 causal joint audiovisual generation을 학습합니다.
• Stage 3 (DMD + Dual Rollout): Intent Module의 layer 50 hidden states와 self-generated media history를 condition으로 사용해 4-step generator를 distill합니다 [Figure 6]. 선택적으로 GAN loss를 추가하고, VGGT 기반 camera-rotation-aware weighting으로 camera drift를 억제합니다.

Figure 6 — Dual rollout DMD

데이터

• LLM screenplay와 t2v model로 split-screen video call을 합성합니다. 이때 block 0의 opening video를 고정 reference로 사용합니다.
• 이 방식은 baseline(직전 block의 final frame에만 conditioning)보다 drift가 적습니다. Baseline은 60 s rollout에서 block 9까지 luma 34.2 levels가 떨어진 반면, 제안 방식은 약 99 luma에서 안정적으로 유지되었습니다.
• 여기에 recorded data 6개 category를 함께 사용합니다.

Streaming 성능 (8-GPU 단일 서버)

• Intent inference는 90–160 ms, 768×576 해상도의 joint latent generation은 200–450 ms, 기타 overhead는 약 40 ms입니다. 이 세 항목의 합은 330–650 ms입니다.
• 첫 visible output까지의 지연에는 여기에 초기 decoding 시간과 남은 sampling window 대기가 더해집니다. 발화나 행동이 sampling window 안에서 끝나면 최대 약 708 ms의 sampling delay가 추가될 수 있습니다.
• Causal latent decoding은 latent당 약 30 ms로, playback 간격인 41.7 ms보다 짧아 playback 속도를 따라갈 수 있습니다.
• Unified KV manager가 Intent KV에는 sliding window를, Realization KV에는 periodic reset을 적용합니다.
• TP/SP를 그때그때 선택하고, decoding과 다음 chunk의 intent inference를 서로 다른 GPU에서 겹쳐 실행합니다.

Human Evaluation (30 cases × 6 binary criteria)

• 전체 180 checks 중 168 통과(93.3%).
• language adherence, speech intelligibility, visual identity stability는 90/90 전부 통과.
• audio-visual emotional consistency 96.7%, lip-sync 90.0%.
• 가장 낮은 항목은 content responsiveness로 73.3% (22/30)였습니다. 실패는 주로 두 가지 유형이었습니다. 하나는 농담이나 엉뚱한 발언처럼 문자 그대로의 말 너머 의도를 읽어야 하는 long-tail 대화이고, 다른 하나는 speech와 video를 함께 봐야만 의도가 드러나는 경우입니다.
• 공개된 다른 시스템과의 정량적 baseline 비교는 명시되지 않았습니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문은 지능과 물리적 현실을 동등하게 다루는 RWM을 제안하고, 그 첫 구현인 Duo v1을 제시합니다. Duo v1은 사용자 입력을 계속 받으면서 실시간으로 audiovisual 응답을 생성하는 full-duplex 시스템입니다. 저자들은 Duo v1이 아직 preliminary 단계이며 기본적인 audiovisual conversation 수준을 지원한다고 밝힙니다. response timing, 긴 session에서의 consistency, 오해로부터의 recovery는 더 넓은 평가가 필요하다고 명시합니다.

학계 측면에서 이 연구는 world model 연구를 "환경 simulation"에서 "상호작용하는 존재가 사는 world"로 확장하는 framing을 제시합니다. 또 LLM을 단순한 instruction encoder가 아니라 autoregressive participation decision-maker로 쓰는 설계 방향을 보여줍니다. 산업 측면에서는 실시간 digital human, 가상 assistant, keyboard/mouse 없이 진행하는 audiovisual game과 interactive content 등에 활용될 수 있습니다. 모델은 GitHub와 Hugging Face를 통해 공개되었습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.