[논문리뷰] Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling

링크: 논문 PDF로 바로 열기

The paper "Behind Video Generation: Observations and Insights on Multimodal Understanding from Kling" by Kling Team et al. discusses the role of multimodal understanding in controllable video generation, drawing insights from the development of Kling.

I need to extract the following:

• Authors: Provided in the prompt: Kling Team, Dong Chen, Jialu Chen, Xinlong Chen, Yifan Dai, Haotian Dong, Binzong Geng, Yushuo Guan, Minghui Guo, Guanlin He, Guanxiao He, Jingyun Hua, Yanwei Huang, Yiyan Ji, Xueping Jia, Yizhuo Jia, Bozhou Li, Jiaze Li, Min Li, Shihao Li, Shujie Li, Shengyi Liao, Weihong Lin, Shiyuan Liu, Xinyu Liu, Siyang Mao, Xiaoru Qu, Dianmo Sheng, Yang Shi, Jiafu Tang, Longxiang Tang, Yuqi Tang, Chengzhuo Tong, Kuo Wang, Qixun Wang, Rui Wang, Tianduo Wang, Yuran Wang, Zekun Wang, Zihao Wang, Boyang Xia, Yifan Xu, Liu Yang, Zhenlong Yuan, Bohan Zeng, Mujin Zhang, Yuanxing Zhang, Zhicheng Zhang, Zhuoran Zhang, Yuanhong Zheng, Kun Gai, Chengru Song, Pengfei Wan. I will shorten this to "Kling Team, Dong Chen, Jialu Chen, et al." as per the example.
• Keywords: The abstract and introduction mention Multimodal understanding, Video generation, Kling-MLLM, Captioning, Reference-grounded captioning, Prompt enhancement (PE), Text encoder (TE), Reward models (RM), Automatic evaluation. I'll select 5-8 academic terms from these. From the metadata directly in the browsed content: Multimodal understanding, Video generation, Omni captioning, Prompt enhancement, Text encoder, Reward model, Evaluation & benchmark. These are good.

Now, let's go through each section of Part 1.

Part 1: Summary Body

1. Key Terms & Definitions

• Kling-MLLM: A shared multimodal foundation model that unifies image, video, audio, synchronized audio-video, and interleaved inputs, serving as the perceptual and reasoning backbone for Kling's various generation and editing tasks.
• Diffusion Transformer (DiT): Video generator architecture used in Kling, which consumes conditioning representations from the Text Encoder.
• Reference-Grounded Captioning (RGC): Describes target videos conditioned on one or more multimodal references, explicitly specifying reference-target bindings, modified properties, and supplemental target facts.
• Prompt Enhancement (PE): A module that rewrites user requests into the generator's training-aligned caption distribution, translating user intent into a format the generator can effectively use.
• Reward Model (RM): Supplies an executable utility signal to enforce the semantic contract, determining which video should be assigned a higher probability and identifying specific failure regions or time intervals.

2. Motivation & Problem Statement

The field of video generation has rapidly advanced from isolated clips to coherent short-form audiovisual sequences, shifting the primary bottleneck from rendering quality to precise semantic control. Traditional benchmarks and descriptive models, optimized for linguistic fluency, often fail to provide the granular, temporally organized, and consistently formatted supervision necessary for controllable video generation. For instance, conventional captions may misrepresent spatiotemporal relations or omit critical details, leading to underspecified conditions that force the generator to rely on dataset priors. This issue is further exacerbated in complex scenarios involving multiple shots, persistent subjects, and synchronized audiovisual elements, where errors can accumulate and compromise the overall sequence. Furthermore, general-purpose multimodal benchmarks often do not reliably capture capabilities crucial for generation, such as understanding camera language, precise spatiotemporal descriptions, or identity binding across frames. This necessitates a re-evaluation of how multimodal understanding is defined, measured, and applied across the entire data-conditioning-alignment-evaluation chain to ensure that relevant semantics effectively reach the generator. The paper argues that video generation quality is a projection of multimodal understanding across this entire chain.

3. Method & Key Results

본 논문은 controllable video generation을 위한 multimodal understanding의 전체 data–conditioning–alignment–evaluation chain을 모듈별로 분석하고 최적화하는 방법론을 제안한다. 핵심적으로 Kling-MLLM이라는 shared multimodal foundation model을 사용하여 image, video, audio, synchronized audio–video, 그리고 interleaved inputs를 통합한다. 이 모델은 captioner, Prompt Enhancement (PE) 모델, Text Encoder (TE), Reward Model (RM), 그리고 automatic evaluator로 전문화된다.

Captioning은 generator의 semantic interface 역할을 하며, description density를 최대화하여 trainable semantics로 변환한다. 이는 기존 captioning의 한계점인 descriptive quality가 supervisory quality로 자동적으로 이어지지 않는 문제를 해결한다. 예를 들어, Figure 3는 linguistic fluency가 supervision errors를 어떻게 숨기는지를 보여주며, 저자들은 shot timing, audiovisual alignment, visible text 등을 보존하는 generation-oriented caption을 제안한다. Kling-Captioner-397B-A17B는 VidCapBench에서 96.05%의 Coverage와 60.51%의 Precision을 달성하며 baseline 모델들을 consistently outperform한다.

Reference-Grounded Captioning (RGC)은 다중 multimodal reference (예: character portrait, source clip, voice track)에 기반한 target video를 설명하여 reference-target binding을 명시하고, 변경된 속성 및 보충 정보를 제공한다. Figure 4는 RGC가 어떻게 reference binding과 residual facts를 명확히 표현하는지 보여준다. Kling-RGC-397B-A17B는 ViDiC 벤치마크에서 Difference Captioning 76.29% 및 Similarity Captioning 86.12%의 Accuracy를 달성하며 뛰어난 성능을 보인다.

Prompt Enhancement (PE)는 user intent를 generator의 training-aligned caption distribution으로 변환하는 역할을 한다. 이는 backward construction, text-level quality (Faithfulness, Reasonableness, Vividness) 최적화, 그리고 DiT-in-the-Loop Reinforcement Learning (RL)을 통해 이루어진다. 특히, Story Refinement와 Retrieval을 포함하는 Agentic PE는 prompt의 coherence와 vividness를 향상시킨다. Table 13에 따르면, + DiT-in-the-loop RL 추가 시 StoryEval 점수가 76.46으로 향상된다.

Text Encoder (TE)는 text prompt를 generator가 소비하는 continuous conditioning representation으로 변환하며, perceptual training과 multi-layer fusion을 통해 spatiotemporal grounding을 강화한다. Table 14는 Multimodal adaptation, Multi-granular conditioning, 그리고 Conditioning stability를 cumulatively 적용했을 때 Qwen baseline 대비 Overall Preference 1.27배, Instruction Following 1.14배, Aesthetics 1.25배의 상대적 우위를 보임을 보여준다.

Reward Models (RM)은 generation quality를 최적화 신호로 변환하며, explainable한 General Reward Model (GRM)과 fast multi-dimensional scoring을 위한 Decision Reward Model (DRM)으로 구성된다. DRM은 내부 벤치마크에서 77.86%의 Macro Accuracy를 달성하며, baseline MLLM 및 기존 RM들을 능가한다.

4. Conclusion & Impact

본 연구는 Kling의 successive generation을 통해 multimodal understanding이 controllable video generation 품질에 미치는 영향을 데이터-컨디셔닝-정렬-평가 체인 전반에 걸쳐 종합적으로 분석한다. 핵심적으로 Kling-MLLM을 기반으로 한 specialized modules (captioning, RGC, PE, TE, RM)의 체계적인 개발과 최적화를 통해 generator의 semantic control 능력을 획기적으로 향상시켰다. 이 연구는 기존의 품질 병목 현상이 렌더링에서 semantic control로 이동했음을 명확히 하고, data efficiency가 description density에 크게 의존한다는 점을 강조한다. 또한, agentic methods가 mature DiT 모델의 성능을 최적화하는 데 중요하며, task-specific evaluation이 실패 원인을 추적하는 데 필수적임을 시사한다. 이러한 총체적인 접근 방식은 학계와 산업계 모두에 실용적인 가이드를 제공하며, 향후 더 정교하고 제어 가능한 비디오 생성 시스템 개발의 기반을 마련할 것으로 기대된다.

Part 2: Important Figure Information

Now I need to find the image_url for Figure 1, Figure 2, Figure 3, Figure 4, Figure 5, and Figure 7.

• Figure 1: Multimodal understanding along the data–conditioning–alignment–evaluation chain behind Kling. src="2611.04916v1/overview.png" -> https://arxiv.org/html/2611.04916v1/overview.png
• Figure 2: Kling-MLLM architecture. src="2611.04916v1/omni_architecture.png" -> https://arxiv.org/html/2611.04916v1/omni_architecture.png
• Figure 3: Two captions of a 17.7 s clip from Meridian. src="2611.04916v1/ch3_teaser.png" -> https://arxiv.org/html/2611.04916v1/ch3_teaser.png
• Figure 4: Reference-grounded captioning on a 22.5 s clip from Meridian. src="2611.04916v1/ch4_teaser.png" -> https://arxiv.org/html/2611.04916v1/ch4_teaser.png
• Figure 5: Overview of PE. src="2611.04916v1/pe.png" -> https://arxiv.org/html/2611.04916v1/pe.png
• Figure 7: Three-stage training pipeline for our RMs. src="2611.04916v1/rm.png" -> https://arxiv.org/html/2611.04916v1/rm.png

I will choose Figure 1 (overall chain), Figure 2 (MLLM architecture), Figure 5 (PE overview) as they represent the overall framework, core architecture, and a key methodology.

Correction: The prompt asks for up to 3 figures. So I should select the most representative ones.

1. Figure 1: Multimodal understanding along the data–conditioning–alignment–evaluation chain behind Kling (Overall system view).
2. Figure 2: Kling-MLLM architecture (Core foundation model architecture).
3. Figure 5: Overview of PE (Key methodology for translating user intent).

These three cover the overall system, the core model, and a crucial component in the conditioning pipeline.저자: Kling Team, Dong Chen, Jialu Chen, et al.

Part 1: 요약 본문

1. Key Terms & Definitions (핵심 용어 및 정의)

• Kling-MLLM: Image, video, audio, synchronized audio–video 및 interleaved inputs를 통합하는 shared multimodal foundation model로, Kling의 다양한 생성 및 편집 task를 위한 perceptual 및 reasoning backbone 역할을 한다.
• Diffusion Transformer (DiT): Kling에서 사용되는 video generator architecture로, Text Encoder로부터 제공되는 conditioning representation을 소비한다.
• Reference-Grounded Captioning (RGC): 하나 이상의 multimodal reference에 기반하여 target video를 설명하며, reference-target binding, 변경된 속성 및 추가적인 target facts를 명시적으로 지정하는 기법이다.
• Prompt Enhancement (PE): User intent를 generator의 training-aligned caption distribution으로 재작성하여, generator가 user request를 효과적으로 활용할 수 있도록 돕는 모듈이다.
• Reward Model (RM): Semantic contract를 강제하기 위한 executable utility signal을 제공하여, 여러 candidate video rollout 중 어떤 것이 더 높은 확률을 가져야 하는지 결정하고, 실패한 특정 영역이나 시간 간격을 식별한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

비디오 생성 분야는 고립된 클립을 넘어 일관성 있는 short-form audiovisual sequences를 생성하는 수준으로 빠르게 발전했으며, 이에 따라 핵심 병목 지점은 렌더링 품질에서 정밀한 semantic control로 변화하고 있다. 기존의 비디오 설명 모델과 벤치마크는 주로 linguistic fluency에 중점을 두었기 때문에, controllable video generation에 필요한 세분화되고, 시간적으로 조직화되며, 일관된 형식의 supervision을 제공하는 데 한계가 있었다. 예를 들어, 일반적인 caption은 시공간적 관계를 잘못 표현하거나 핵심적인 세부 정보를 누락하여, generator가 dataset prior에 의존하게 만드는 underspecified conditions을 초래할 수 있다. 이러한 문제는 다중 shot, 지속적인 subject, 동기화된 audiovisual elements와 같은 복잡한 시나리오에서 더욱 심화되며, 오류가 누적되어 전체 시퀀스의 일관성을 저해한다. 또한, 일반적인 multimodal 벤치마크는 camera language 이해, 정밀한 spatiotemporal description, frame 간 identity binding과 같이 생성에 필수적인 능력을 충분히 포착하지 못한다. 본 논문은 이러한 문제 인식을 바탕으로, video generation quality가 전체 data–conditioning–alignment–evaluation 체인을 통한 multimodal understanding의 projection이라는 중심 가설을 제시하며, 각 모듈별로 이해도를 정의, 측정 및 적용하는 새로운 접근 방식의 필요성을 제기한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 controllable video generation을 위한 multimodal understanding의 전체 data–conditioning–alignment–evaluation chain을 모듈별로 분석하고 최적화하는 방법론을 제안한다. 핵심적으로 Kling-MLLM이라는 shared multimodal foundation model을 사용하여 image, video, audio, synchronized audio–video, 그리고 interleaved inputs를 통합한다 [cite: 1, Figure 2]. 이 모델은 captioner, Prompt Enhancement (PE) 모델, Text Encoder (TE), Reward Model (RM), 그리고 automatic evaluator로 전문화된다.

Captioning은 generator의 semantic interface 역할을 하며, description density를 최대화하여 trainable semantics로 변환한다. 이는 기존 captioning의 한계점인 descriptive quality가 supervisory quality로 자동적으로 이어지지 않는 문제를 해결한다. 예를 들어, Figure 3는 linguistic fluency가 supervision errors를 어떻게 숨기는지를 보여주며, 저자들은 shot timing, audiovisual alignment, visible text 등을 보존하는 generation-oriented caption을 제안한다. Kling-Captioner-397B-A17B는 VidCapBench에서 96.05%의 Coverage와 60.51%의 Precision을 달성하며 baseline 모델들을 consistently outperform한다.

Reference-Grounded Captioning (RGC)은 다중 multimodal reference (예: character portrait, source clip, voice track)에 기반한 target video를 설명하여 reference-target binding을 명시하고, 변경된 속성 및 보충 정보를 제공한다. Figure 4는 RGC가 어떻게 reference binding과 residual facts를 명확히 표현하는지 보여준다. Kling-RGC-397B-A17B는 ViDiC 벤치마크에서 Difference Captioning 76.29% 및 Similarity Captioning 86.12%의 Accuracy를 달성하며 뛰어난 성능을 보인다.

Prompt Enhancement (PE)는 user intent를 generator의 training-aligned caption distribution으로 변환하는 역할을 한다. 이는 backward construction, text-level quality (Faithfulness, Reasonableness, Vividness) 최적화, 그리고 DiT-in-the-Loop Reinforcement Learning (RL)을 통해 이루어진다 [cite: 1, Figure 5]. 특히, Story Refinement와 Retrieval을 포함하는 Agentic PE는 prompt의 coherence와 vividness를 향상시킨다. Table 13에 따르면, + DiT-in-the-loop RL 추가 시 StoryEval 점수가 76.46으로 향상된다.

Text Encoder (TE)는 text prompt를 generator가 소비하는 continuous conditioning representation으로 변환하며, perceptual training과 multi-layer fusion을 통해 spatiotemporal grounding을 강화한다. Table 14는 Multimodal adaptation, Multi-granular conditioning, 그리고 Conditioning stability를 cumulatively 적용했을 때 Qwen baseline 대비 Overall Preference 1.27배, Instruction Following 1.14배, Aesthetics 1.25배의 상대적 우위를 보임을 보여준다.

Reward Models (RM)은 generation quality를 최적화 신호로 변환하며, explainable한 General Reward Model (GRM)과 fast multi-dimensional scoring을 위한 Decision Reward Model (DRM)으로 구성된다 [cite: 1, Figure 7]. DRM은 내부 벤치마크에서 77.86%의 Macro Accuracy를 달성하며, baseline MLLM 및 기존 RM들을 능가한다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Kling의 successive generation을 통해 multimodal understanding이 controllable video generation 품질에 미치는 영향을 데이터-컨디셔닝-정렬-평가 체인 전반에 걸쳐 종합적으로 분석한다. 핵심적으로 Kling-MLLM을 기반으로 한 specialized modules (captioning, RGC, PE, TE, RM)의 체계적인 개발과 최적화를 통해 generator의 semantic control 능력을 획기적으로 향상시켰다. 이 연구는 기존의 품질 병목 현상이 렌더링에서 semantic control로 이동했음을 명확히 하고, data efficiency가 description density에 크게 의존한다는 점을 강조한다. 또한, agentic methods가 mature DiT 모델의 성능을 최적화하는 데 중요하며, task-specific evaluation이 실패 원인을 추적하는 데 필수적임을 시사한다. 이러한 총체적인 접근 방식은 학계와 산업계 모두에 실용적인 가이드를 제공하며, 향후 더 정교하고 제어 가능한 비디오 생성 시스템 개발의 기반을 마련할 것으로 기대된다.

Figure 1 — 전체 이해도 체인 개요

Figure 2 — Kling-MLLM 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.