[논문리뷰] JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yicheng Xiao, Wenxun Dai, Xinran Qin, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• SA-DMD (Source-Anchored Distribution Matching Distillation): 생성된 결과물이 원본 비디오의 fidelity를 유지하도록 교사 모델을 소스 청크에 고정(anchoring)하여, 적은 스텝으로도 고품질의 비디오 편집을 가능하게 하는 증류 기법입니다.
• LHAD (Long-Horizon Autoregressive Distillation): 장기적인 비디오 생성 시 발생하는 오차 누적을 방지하기 위해, 세그먼트 단위로 확장된 롤아웃을 수행하여 모델을 최적화하는 학습 프레임워크입니다.
• Chunk-wise Autoregressive Adaptation: 비디오를 고정된 크기의 청크(chunk) 단위로 나누어, 내부적으로는 양방향(bidirectional) 어텐션을, 청크 간에는 인과적(causal) 어텐션을 사용하여 실시간성을 확보하는 구조입니다.
• Global Sink: 장기 생성 과정에서 편집의 일관성과 기억을 유지하기 위해, 슬라이딩 윈도우와 함께 항상 참조되는 비디오의 첫 번째 청크를 지칭합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 실시간 스트리밍 환경에서 높은 품질과 시간적 일관성을 유지하며 비디오를 편집하는 핵심 문제를 해결하고자 합니다. 기존의 오프라인 편집기는 양방향 temporal 정보를 필요로 하여 스트리밍 환경에 적합하지 않으며, 기존 스트리밍 접근 방식은 낮은 지연 시간과 편집 품질 사이의 균형을 맞추는 데 한계가 있었습니다 [Figure 1]. 특히, 오토레그레시브 모델이 자신의 불완전한 예측을 과거의 이력으로 사용할 때 발생하는 오차 누적과 그로 인한 temporal drift는 장기 비디오 편집의 큰 걸림돌입니다. 이러한 문제로 인해 실시간성, 소스 충실도(fidelity), 그리고 장기 일관성을 동시에 달성하는 것이 학계의 도전 과제로 남아 있습니다.

Figure 1 — JoyAI-Video-Edit의 스트리밍 편집 예시

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 JoyAI-Video-Edit 프레임워크를 제안하며, 이는 MLLM 조건 인코더, 인과적 비디오 VAE, 그리고 MM-DiT(Multimodal Diffusion Transformer)로 구성됩니다 [Figure 3]. 모델은 청크 단위의 오토레그레시브 적응(chunk-wise autoregressive adaptation)을 통해 실시간 스트리밍에 최적화되었으며, SA-DMD를 사용하여 단 두 번의 디노이징 스텝만으로도 높은 편집 품질을 달성합니다 [Figure 4]. 또한, LHAD를 통해 긴 롤아웃에서도 안정적인 결과를 보장합니다. 실험 결과, JoyAI-Video-Edit는 LongV2VBench 벤치마크에서 3.30의 Overall 점수를 기록하며 기존 스트리밍 방식인 XMax-X2.0(1.71점)을 압도적인 성능 차이로 제치고 모든 카테고리에서 1위를 차지했습니다 [Table 3]. 시스템은 Nvidia B200 GPU에서 720p 해상도의 비디오를 약 30 FPS의 실시간 처리 속도로 제공합니다 [Figure 5].

Figure 3 — 모델 전체 아키텍처

Figure 4 — 학습 파이프라인 및 LHAD

4. Conclusion & Impact (결론 및 시사점)

본 논문은 실시간 비디오 편집을 위한 새로운 오토레그레시브 확산 프레임워크를 성공적으로 구축하였습니다. 제안된 전략들은 스트리밍 환경에서 발생하는 고질적인 문제인 오차 누적과 temporal drift를 효과적으로 해결하였으며, 높은 추론 효율성을 확보했습니다. 이 연구는 라이브 브로드캐스팅, 대화형 콘텐츠 등 즉각적인 반응이 중요한 영상 생성 분야의 기술적 진입 장벽을 크게 낮추었습니다. 향후 오픈 소스 생태계와 상업적 영상 편집 플랫폼에 실시간 편집 기능을 도입하는 데 중요한 이정표가 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.