[논문리뷰] Wan-Streamer v0.2: Higher Resolution, Same Latency

링크: 논문 PDF로 바로 열기

메타데이터

저자: Lianghua Huang, Zhi-Fan Wu, Yupeng Shi, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Native-streaming: 사용자 및 에이전트의 텍스트, 오디오, 비디오 데이터를 하나의 causal timeline 상에서 단일 Transformer로 처리하는 End-to-End 모델링 방식입니다.
• Thinker: 단일 GPU에서 구동되며 스트리밍 인식, 언어/상태 업데이트, KV-cache 구성 및 최종 causal decoding을 담당하는 저지연 처리 경로입니다.
• Performer: Ulysses-style 컨텍스트 병렬 처리를 사용하는 다중 GPU 그룹으로, 고비용의 비디오 latent generation 경로를 전담합니다.
• Model-side Latency: 사용자의 160ms 스트리밍 유닛이 Thinker에 도착하는 시점부터 비디오/오디오 응답이 디코딩되어 출력되는 시점까지의 지연 시간입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Wan-Streamer v0.1의 핵심인 네이티브 스트리밍 프레임워크를 유지하면서, 기존 192p의 낮은 출력 해상도를 개선하여 실시간 상호작용의 시각적 품질을 높이는 것을 목표로 합니다. 기존 v0.1은 근접 촬영 기반의 화상 통화 환경에서는 유효했으나, 전신이나 주변 환경이 포함된 mid-shot 환경에서는 자세나 주변 사물에 대한 인지가 어렵다는 한계가 있었습니다. 특히 해상도를 높일 때 발생하는 연산 비용 증가를 스트리밍 모델의 핵심 제약인 ∼200 ms의 모델 측 지연 시간 내에서 처리해야 하는 과제가 있습니다. 이를 위해 비디오 생성 경로와 제어 경로를 분리하여 병목을 해결하는 새로운 Serving 전략이 필요합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Thinker와 Performer라는 분리된 Serving 토폴로지를 제안하여 해상도 업그레이드에 따른 연산 비용을 최적화합니다. Thinker는 낮은 지연 시간을 유지하며 전체 흐름을 제어하고, 고비용의 640×368 해상도 latent generation은 Ulysses-style 컨텍스트 병렬 처리로 구성된 Performer 그룹으로 분산합니다 [Figure 2]. 각 Performer 랭크는 전역적으로 샤딩된 로컬 KV-cache를 사용하여 비디오 시퀀스를 병렬로 노이즈 제거(denoising)하며, 오디오는 데이터가 짧아 셔딩 없이 처리됩니다. 정량적 실험 결과, v0.2는 v0.1 대비 출력 해상도를 192×336에서 640×368로 대폭 상향했음에도 불구하고, 모델 측 지연 시간을 동일한 ∼200 ms로 유지하는 데 성공했습니다. 또한, 350ms의 네트워크 예산을 포함한 총 원격 상호작용 지연 시간은 ∼550 ms를 유지하며 실시간성을 확보하였습니다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 고해상도 시각적 출력이 요구되는 실시간 대화형 AI 시스템에서 하드웨어 자원을 효율적으로 분산하여 성능을 극대화할 수 있음을 입증했습니다. Thinker-Performer 아키텍처는 실시간 상호작용의 핵심인 저지연 제어 경로를 안정적으로 유지하면서, 확장 가능한 고품질 생성 경로를 분리함으로써 시스템의 실용성을 대폭 향상시켰습니다. 이러한 설계는 향후 에이전트가 단순한 얼굴 대화 수준을 넘어, 물리적 공간과 주변 환경을 이해하고 상호작용하는 scene-grounded 디지털 휴먼 서비스 발전에 중요한 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.