[논문리뷰] MoviEdit: Long-form Multi-Shot Video Editing Made Easy

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will extract the information required for the summary and the figures.

Authors: Suhyeon Lee, Zhengang Li, Soo Ye Kim, Peihao Zhu, Jong Chul Ye, Chun-Hao Paul Huang, Duygu Ceylan, Yan Kang, Hyeonho Jeong

Keywords (from abstract and introduction): Long-form Video Editing, Multi-Shot Video Editing, Cascaded Diffusion Model, Data Generation, Benchmark, Video Consistency, Text-Guided Editing, Image-Guided Editing

Figures to select:

• Figure 2: "Scalable paired-data generation for multi-shot video editing." (Architecture for data generation)
• Figure 5: "Cascaded modeling for a long-form video editor." (Architecture for the model)
• Table 1 or 2: Quantitative results. Table 1 for V2V seems good as it covers multiple open-source and private models, and MoviEdit shows strong performance.

Let's refine the captions and check URLs for figures.

• Figure 2: https://arxiv.org/html/2611.02737v1/fig_dataset.png (This is actually fig_dataset, Fig 2 itself is described in text and is a conceptual diagram, not an image. Figure 3 is "Representative training data pairs". Let's use Figure 3 for data examples, and find the diagram for overall pipeline, which is Figure 2. Oh, "Figure 2: Scalable paired-data generation for multi-shot video editing." is a textual description of the figure, but the actual image seems to be fig_dataset.png which is Figure 3. Let me re-check the HTML. Ah, Fig_2 itself is a text description of a figure. The image is fig_dataset.png for Fig 3 and fig_method_model.png for Fig 5. I will pick Figure 3 as it explicitly shows "Representative training data pairs across editing tasks." as an example of data generation. And Figure 5 for the architecture. For the third figure, I will use Table 1, but tables are not images. So, I need to pick another image. Let's look for important graphs. Figure 8 is a radar chart showing performance, and Figure 10 shows scaling studies. Figure 7 shows qualitative comparison. I will select Figure 8 for the radar chart as it visually summarizes performance across multiple metrics.

Okay, let's confirm the figure details:

1. Figure 3: https://arxiv.org/html/2611.02737v1/fig_dataset.png - "Representative training data pairs across editing tasks." -> "다중 샷 비디오 편집을 위한 데이터 생성 예시"
2. Figure 5: https://arxiv.org/html/2611.02737v1/fig_method_model.png - "Cascaded modeling for a long-form video editor." -> "장편 비디오 편집을 위한 계층적 모델 아키텍처"
3. Figure 8: https://arxiv.org/html/2611.02737v1/fig_radar.png (This is not explicitly fig_radar.png in the HTML, it is referenced as fig_qualitative.png for Figure 7, and fig_radar.png for Figure 8.) - "MoviEdit-Bench radar chart showing that MoviEdit achieves performance on par with proprietary systems." -> "MoviEdit-Bench 성능 레이더 차트"

Let me double check the image URLs for Figure 7, 8, 9, 10, 11, 12. Figure 7: fig_qualitative.png Figure 8: fig_radar.png Figure 9: fig_set2set.png Figure 10: fig_scaling.png Figure 11: fig_data_ablation.png Figure 12: fig_failure.png

So, Figure 8 URL should be https://arxiv.org/html/2611.02737v1/fig_radar.png.

Now I will write the summary following all the specified constraints.

---

Part 1: 요약 본문

메타데이터

저자: Suhyeon Lee, Zhengang Li, Soo Ye Kim, Peihao Zhu, Jong Chul Ye, Chun-Hao Paul Huang, Duygu Ceylan, Yan Kang, Hyeonho Jeong

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 다루는 핵심 용어 및 정의는 다음과 같다:

• Long-form Multi-Shot Video Editing: 단일 샷(single-shot)이 아닌, 여러 샷으로 구성된 장편 비디오 콘텐츠를 편집하는 task로, 장면, 시점, 피사체 외형의 급격한 변화에도 불구하고 편집 의도가 일관되게 유지되어야 하는 복잡한 도전 과제를 포함한다.
• Cascaded Bidirectional–Autoregressive Design: MoviEdit의 핵심 아키텍처로, lightweight bidirectional stage에서 spatiotemporally compressed representation을 통해 전역적으로 일관된 editing draft를 먼저 생성한 후, autoregressive stage에서 full video에 걸쳐 이를 전파하고 refinement하는 방식이다.
• MoviEdit-Bench: Long-form multi-shot video editing 모델의 체계적인 평가를 위해 MoviEdit 팀이 개발한 전용 벤치마크이다. 이는 cross-shot subject localization 및 edit consistency를 포함한 다양한 평가 지표를 제공한다.
• Pixel-aligned Editing: 편집된 비디오가 원본과 픽셀 단위의 공간적 일관성(spatial correspondence)을 유지하면서 지시된 시각적 내용만 수정하는 primary editing setting이다.
• Semi-pixel-aligned Editing: 픽셀 수준의 정확한 일관성(exact correspondence)을 요구하지 않으면서 공간 구조, 시간적 구성, 서사적 일관성을 유지하는 편집 task로, Coupled Generation 및 Inference-time Interaction을 통해 더 넓은 범위의 편집을 지원한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존 비디오 편집 방법론은 주로 짧은 단일 샷 비디오에 초점을 맞추고 있어, Long-form Multi-Shot Video Editing에서 발생하는 cross-shot consistency 유지라는 본질적인 구조적 어려움에 효과적으로 대응하지 못한다. 이 문제의 근본적인 원인은 데이터(data), 모델링(modeling), 평가(evaluation)의 세 가지 병목 현상 때문이다. 데이터 측면에서는 샷 간의 명시적인 subject correspondence를 가진 대규모 source-target video pair가 부족하며, 기존 파이프라인으로는 요구되는 scale과 quality를 충족하는 데이터를 합성하기 어렵다. 모델링 측면에서는 Long-form Editing이 본질적으로 memory problem으로 작용하여, 기존 token-concatenation 디자인의 quadratic cost가 긴 duration에서 비효율적이 된다. 마지막으로, 평가 측면에서는 기존 벤치마크들이 주로 short, single-shot 클립에 집중하여 multi-shot editing의 핵심 역량인 cross-shot subject localization이나 appearance consistency 등을 제대로 평가하지 못하는 한계가 있다. 본 연구는 이러한 세 가지 병목 현상을 해결하여 산업 수준의 Long-form Multi-Shot Video Editing 시스템을 구축하는 것을 목표로 한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Scalable Paired Data Generation, Cascaded Bidirectional–Autoregressive Modeling, Inference Optimization을 포함하는 MoviEdit 프레임워크를 제안한다 [Figure 5]. 데이터 생성은 세 가지 파이프라인으로 구성된다: Pixel-aligned Editing (객체 추가/제거, 외형 변경, 스타일 변환), Subject Localization (하이라이팅, 아웃라이닝), Semi-pixel-aligned Editing (환경 변경, 매체 변경, 캐릭터 외형 변경) [Figure 3]. 특히 Pixel-aligned Editing의 경우, multi-shot 편집을 cross-shot spatial editing과 within-shot temporal editing으로 분해하여, 첫 프레임 그리드를 통해 전역적 일관성을 확보한 후 각 샷 내에서 전파하는 방식을 사용한다. 이 파이프라인은 수동 annotation 없이 87K개의 paired editing videos를 생성하며, VLM-based Quality Filtering을 통해 데이터의 품질을 보장한다.

Figure 3 — 다중 샷 비디오 편집을 위한 데이터 생성 예시

Figure 5 — 장편 비디오 편집을 위한 계층적 모델 아키텍처

제안하는 Cascaded Bidirectional–Autoregressive Architecture는 효율적인 autoregressive generation과 bidirectional modeling의 전역적 일관성을 결합한다 [Figure 5]. Draft Editor는 spatially/temporally subsampled된 비디오 표현에 대해 full-sequence bidirectional diffusion을 수행하여 전역적으로 일관된 edit draft를 생성한다. 이 draft는 autoregressive generation 동안 long-horizon drift를 억제하는 안정적인 appearance anchor 역할을 한다. 이후 Render Editor는 이 draft edit에 조건화되어 full-resolution chunk-wise causal diffusion을 수행하며, 전역적인 편집 구조를 유지하면서 로컬 디테일을 효율적으로 합성한다. 두 Editor는 model weights를 공유한다. Inference Optimization을 위해 Few-step Diffusion Distillation과 KV Caching을 도입하여 추론 latency를 크게 단축한다. 특히, Render Editor는 4단계(4 steps), Draft Editor는 12단계(12 steps)로 비대칭적으로 distillation되어, 전체 시스템은 30.9배(30.9×) 빠른 11.8초(11.8s)의 denoising latency를 달성한다 [Table 4].

MoviEdit은 MoviEdit-Bench 벤치마크를 사용하여 평가되었으며, Text-guided Video Editing (V2V) 및 Edited-frame-guided Propagation (IV2V) 모두에서 기존 open-source 모델들을 상당히 능가하고(substantially outperforms), Runway Aleph 2.0, Google DeepMind Gemini Omni Flash, Alibaba Cloud HappyHorse-1.0과 같은 강력한 proprietary 시스템과 대등한 성능(on par with)을 보인다 [Table 1, Table 2, Figure 8]. 특히 V2V task에서 MoviEdit은 Overall Edit Success에서 0.790점을 기록하여 Aleph 2.0의 0.764점을 앞섰으며, IV2V task에서는 0.803점으로 Aleph 2.0의 0.806점과 유사한 결과를 보였다 [Table 1, Table 2]. 또한, Non-subject Preservation (LPIPS↓)에서 0.0741, Edit Localization (Precision↑)에서 0.904, Cross-shot Edit Consistency (VLM↑)에서 0.911 등 다양한 metric에서 우수한 성능을 입증했다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Long-form Multi-Shot Video Editing을 위한 통합 프레임워크인 MoviEdit을 제안한다. MoviEdit은 Scalable Paired Multi-Shot Editing Data 생성 파이프라인, 효율적인 Cascaded Bidirectional–Autoregressive Modeling, 그리고 Cross-shot Localization, Consistency, Preservation, Edit Alignment를 평가하는 전용 MoviEdit-Bench 벤치마크를 통해 기존 데이터, 모델링, 평가의 병목 현상을 해결한다. 이 연구는 Text-guided 및 Image-guided Editing 전반에서 기존 open-source 모델들을 상당히 능가하며, 강력한 proprietary 시스템과 대등한 성능을 달성함으로써 해당 분야의 기술적 진보를 이끌었다. MoviEdit은 training-horizon을 넘어선 긴 비디오 및 다중 샷 비디오 편집으로의 일반화 능력(generalization capability)을 보여주며, Set-to-set Editing과 같은 새로운 애플리케이션 가능성을 제시한다. 다만, 여러 시각적으로 유사한 피사체가 존재하거나 피사체의 일부만 보이는 경우와 같은 강한 identity ambiguity 상황에서는 target localization에 어려움을 겪는다는 한계가 있으며, 이는 향후 연구 방향으로 제안된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.