[논문리뷰] Manga2Animate: An Agentic Framework for Faithful Manga Animation with Script and Storyboard Planning

링크: 논문 PDF로 바로 열기

저자: Sheng-Wei Zhang, Hsi-An Chen, Yan-Ting Liou, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Manga2Animate: 기존 망가 페이지를 충실한(faithful) 애니메이션으로 변환하는 multi-agent framework.
• Animation Script (S): 애니메이션의 textual specification으로, 각 manga panel에 해당하는 scene, camera, character positions and actions, expressions, dialogue 등을 포함한다.
• Visual Storyboard (B): Animation Script의 textual specification을 visual plan으로 변환한 것으로, 각 storyboard panel은 해당 애니메이션 clip의 appearance 및 scene composition을 지정한다.
• Creator Agent: 각 단계의 input을 받아 intermediate output을 생성하는 AI agent.
• Reviewer Agent: Creator Agent의 output을 검토하고, 최적의 결과물을 선택하며, 개선을 위한 feedback을 제공하는 AI agent.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존 망가를 원본에 충실하게(faithful) 일관된(coherent) 애니메이션으로 변환하는 것은 중요하지만 도전적인 과제이다. 현재의 방식들은 두 가지 주요 한계점을 가지고 있다. 첫째, AniMaker, ViMax, StoryMem과 같은 텍스트 기반 스토리텔링 방법론들은 망가에 주로 텍스트를 통해 접근하여, 원본의 Art Style이나 Character Identity를 손실시키거나 왜곡시킨다 [Figure 2a]. 둘째, Seedance 2.0과 같은 비디오 생성 모델에 망가 페이지를 직접 입력하는 방식은 망가의 구조를 잘못 해석하여 잘못된 스토리라인을 생성하거나, 망가 패널을 비디오 프레임으로 삽입하기도 한다 [Figure 2b]. 이러한 문제점들은 기존 연구들이 망가 콘텐츠에 대한 깊이 있는 이해 없이 시각적 또는 텍스트적 정보에만 의존하여, 원작의 Art Style, Character Identity, 그리고 Plot을 보존하는 데 실패함을 시사한다. 본 연구는 이러한 기존 방법론의 한계를 극복하고, 원본 망가에 충실한 애니메이션을 자동 생성하기 위한 새로운 multi-agent framework인 Manga2Animate를 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 망가를 충실한 애니메이션으로 변환하기 위해 Animation Script와 Visual Storyboard라는 두 가지 intermediate representation을 사용하는 multi-agent framework Manga2Animate를 제안한다 [Figure 1, Figure 3]. 이 프레임워크는 Pre-processing, Script and Storyboard Refinement, 그리고 Video Generation Pipeline의 세 가지 주요 단계로 구성된다 [Figure 3]. Pre-processing 단계에서는 망가 페이지로부터 패널, transcript, character descriptions를 추출한다. Script and Storyboard Refinement 단계에서는 Creator Agent와 Reviewer Agent가 협력하여 Animation Script와 Visual Storyboard를 반복적으로 refine하며, 망가 패널을 기반으로 dual-level feedback을 통해 정확도를 높인다. 특히, Script Reviewer는 clip-wise selection을 통해 각 패널 위치에서 최적의 character 및 clip description을 선택하고 재조합하여 스크립트의 오류를 보완한다 [Figure 4]. Video Generation Pipeline은 first-frame mode와 reference-conditioned mode를 모두 지원하며, 주로 reference-conditioned mode를 사용하여 최종 multi-shot animation을 생성한다.

Figure 3 — Manga2Animate 파이프라인

정량적 평가에서 Manga2Animate는 기존 state-of-the-art 방법론들을 능가하는 성능을 보였다. Table 1에서 제시된 Multi-shot video generation 비교 결과에 따르면, Ours (Gemini) + Seedance 2.0 설정은 I2VS (0.791), I2VB (0.768), BC (0.958), Shadow-v2 (0.518), Waifu-v3 (5.090) 등 Alignment, Video Quality 및 Aesthetic Quality 지표에서 다른 baseline 모델들(AniMaker, ViMax, StoryMem, Direct Manga → Video)보다 우수했다. 예를 들어, Manga2Animate (Gemini + Seedance 2.0)는 ViMax (Seedance 2.0) 대비 I2VS에서 0.753에서 0.791로, I2VB에서 0.747에서 0.768로 향상된 성능을 보였다. 또한, Storyboard Quantitative Evaluation (Table A1)에서도 Manga2Animate의 두 가지 설정(FLUX.2 및 Gemini 3.1 Image)이 CSD, CIDS, PA, OCCM과 같은 manga-fidelity metrics에서 다른 baseline들을 능가했다. 사용자 연구 결과, 참가자들은 storyboard와 video 모두에서 Story Plot, Character Identity, AI Hallucination Absence, Overall Performance 기준에서 90% 이상의 선호도로 Manga2Animate를 최고로 평가했다 [Figure 7, cite: 1]. 이는 제안하는 script 및 storyboard 기반의 planning과 iterative refinement 과정이 캐릭터, Art Style, Plot을 보존하는 데 핵심적인 역할을 함을 입증한다 [Figure 5, Figure 6].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 기존 망가를 일관되고 원본에 충실한 multi-shot 애니메이션으로 변환하는 multi-agent framework인 Manga2Animate를 성공적으로 제시한다. Manga2Animate는 Animation Script와 Visual Storyboard라는 두 가지 중간 표현을 도입하고, Creator Agent와 Reviewer Agent 간의 iterative generation 및 refinement 프로세스를 통해 원본 망가에 대한 충실도를 극대화한다. 특히, clip-by-clip 스크립트 구성, 전체 스토리보드 선택, 그리고 storyboard-level feedback을 script로 다시 전달하는 dual-level feedback 메커니즘은 Art Style, Character Identity 및 Plot 일관성을 유지하는 데 중요한 기여를 한다. MangaEval 프로토콜에 따른 광범위한 실험과 사용자 연구를 통해, Manga2Animate는 기존의 storyboard 및 video generation 방법론들을 manga-fidelity 및 consistency metrics에서 능가하는 것으로 입증되었다. 이 연구는 자동화된 애니메이션 제작 분야에 있어 원본 콘텐츠에 대한 충실도를 높이는 새로운 패러다임을 제시하며, 학계와 산업계 모두에서 망가 기반 애니메이션 제작의 효율성과 품질을 크게 향상시킬 잠재력을 가진다. 향후 복잡한 Art Style에 대한 견고성 향상 및 스토리 이벤트의 source-grounded evaluation 개발이 중요한 연구 방향으로 제시된다.

Figure 1 — Manga2Animate 개요

Figure 2 — 기존 망가 애니메이션 한계

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.