[논문리뷰] Agentic Visual Generation: From Generative Models to Agentic Control

링크: 논문 PDF로 바로 열기

The paper discusses "Agentic Visual Generation" and proposes a five-level hierarchy (L0 to L4) for classifying systems based on the "maximum temporal and causal reach of the decisions a controller can make" in the visual generation process.

Here's the information extraction plan:

Metadata:

• Authors: Yinming Huang, Shuyuan Tu, Xi Yan, Jiahao Zhan, Zihan Yang, Zhen Xing, Hui Zhang, Tiehua Zhang, Yu-Gang Jiang, Zuxuan Wu
• Keywords: From the abstract and Index Terms: Agentic Visual Generation, Image Generation, Video Generation, Agentic Control, Reinforcement Learning, World Model, Multi-Agent Systems. I'll pick 5-8 from these.

Part 1: Markdown Summary

## 1. Key Terms & Definitions

• Agentic Visual Generation: Visual generation processes that involve a controller capable of planning, tool selection, output inspection, failure revision, and experience reuse, moving beyond single-invocation generative models.
• Controller Decision-Making Scope: 에이전틱 시스템의 컨트롤러가 시각적 생성 프로세스에서 내릴 수 있는 결정의 시간적 및 인과적 도달 범위. L0에서 L4까지의 계층을 정의하는 핵심 기준이다.
• L0 Fixed Support: 에이전틱 컨트롤러 없이 미리 결정된 추론 경로를 따르는 고정된 생성기, 편집기, 검색기, 평가기 등의 지원 구성 요소를 포함하는 단계.
• L1 Conditioning Control: 컨트롤러가 미리 결정된 실행기(executor)를 위해 입력 조건을 구성하지만, 어떤 시각적 operation이 실행될지는 제어하지 않는 단계.
• L2 Execution Control: 컨트롤러가 실제 생성, 편집, 렌더링 또는 기타 콘텐츠 수정 operation을 선택하고 호출할 수 있는 단계.
• L3 Outcome-Adaptive Control: 컨트롤러가 중간 결과물(outcome)을 관찰하고, 그 관찰을 사용하여 현재 task 내에서 후속 operation을 변경하는 단계.
• L4 Experience-Adaptive Control: 컨트롤러가 완료된 task의 경험을 유지하고, 그 경험을 사용하여 미래의 독립적인 task에 대한 결정을 변경하는 단계.

## 2. Motivation & Problem Statement

• Motivation: Visual generation은 단순한 generative models의 단일 호출(single invocation)을 넘어, 계획, 도구 선택, 중간 결과물 검사, 실패 수정, 이전 경험 재사용이 가능한 agentic control processes로 진화하고 있다.
• Problem: 기존 연구들은 시각적 생성 시스템이 언제 'agentic'이 되는지에 대한 일관된 기준이 부족하며, 계획 깊이, 도구 사용, 다중 역할 협업, Reinforcement Learning 등이 에이전시의 증거로 간주되지만, 컨트롤러가 어떤 생성 결정을 내릴 수 있는지를 명확히 정의하지 못한다. 이로 인해 파편화된 연구 분야와 에이전시 식별의 불일치 문제가 발생한다.

## 3. Method & Key Results

• Methodology: 본 논문은 컨트롤러의 decision-making scope를 기반으로 에이전틱 시각적 생성 시스템을 L0부터 L4까지의 계층적 분류(hierarchy)로 체계화한다. 이 분류는 컨트롤러가 생성 프로세스 내에서 미래의 어떤 결정까지 인과적으로 변경할 수 있는지를 기준으로 한다.
  • L0 Fixed Support: 고정된 생성기, 편집기, 평가기 등 에이전틱 컨트롤러 없이 predetermined된 구성 요소.
  • L1 Conditioning Control: 컨트롤러가 고정된 실행기를 위한 입력 조건(예: prompt, layout, reference)을 구성한다 [cite: 1, Figure 7].
  • L2 Execution Control: 컨트롤러가 시각적 operation(예: tool/model, program, call order)을 선택하고 호출한다 [cite: 1, Figure 7].
  • L3 Outcome-Adaptive Control: 컨트롤러가 중간 결과물(perceptual, structured, physical feedback)을 관찰하고, 이를 바탕으로 현재 task 내에서 후속 operation을 수정한다 [cite: 1, Figure 8].
  • L4 Experience-Adaptive Control: 컨트롤러가 완료된 task의 경험(예: memory, skills, profiles, policy updates)을 저장하고, 이를 통해 미래의 독립적인 task에 대한 결정을 변경한다 [cite: 1, Figure 8].
• Key Results:
  • 저자들은 이 프레임워크를 이미지, 비디오, 편집, 3D, 월드, 슬라이드, 사용자 인터페이스 생성 분야에 적용하여 컨트롤러의 역량(capability)이 어떻게 진화했으며, 메커니즘이 레벨별로 어떻게 분포하는지 분석했다.
  • 특히, 2025년 이후의 급격한 성장(steep growth)은 L3 Outcome-Adaptive Control에 의해 주도되며, 생성된 결과물을 바탕으로 후속 결정을 내리는 within-trajectory feedback 방식이 가장 흔한 Agentic behavior임을 보여준다 [cite: 1, Figure 5].
  • 반면, L4 Experience-Adaptive Control는 전체 연구의 작은 부분을 차지하며, cross-task persistence 재사용이 L3의 within-task correction보다 덜 성숙한(less mature) 연구 도전 과제임을 시사한다 [cite: 1, Figure 5].
  • 제안하는 level-conditioned evaluation framework는 동일한 생성기, 도구, 예산, 평가기를 사용하여 각 레벨에서 컨트롤러의 decision-making scope 확장이 가지는 가치를 효과적으로 분리하여 평가할 수 있음을 제시한다 [cite: 1, Figure 9].

## 4. Conclusion & Impact

• 본 논문은 에이전틱 시각적 생성을 컨트롤러의 maximum causal reach를 기준으로 하는 5단계 계층(L0-L4)으로 정의함으로써, 기존의 파편화된 연구 분야를 통일된 관점으로 정리했다.
• 이 분류는 에이전시(agenticity)를 모델 크기, 시스템 복잡성, 출력 품질, 도구 수 또는 학습 방법과 독립적인 개념으로 명확히 구분한다.
• 특히, within-trajectory feedback에 중점을 둔 L3 컨트롤러의 성장은 실제 응용 분야에서 생성 결과의 수정 및 개선의 중요성을 강조한다 [cite: 1, Figure 5].
• 이 연구는 향후 연구 방향으로 executable action interfaces, reliable visual verification, causal credit assignment, selective long-term memory, 그리고 궁극적으로 generator-as-controller 패러다임으로의 전환을 제시하며, 시각적 생성 시스템의 지능적 자율성 및 적응성 향상에 중요한 이론적 및 실용적 기반을 제공한다.

Part 2: 중요 Figure 정보 I need to find up to 3 important figures. Looking at the HTML content, I see several figures:

• 2609.06758v1/firstpicture.png - Visual overview of controller decision-making scope. This is crucial as it visualizes the L0-L4 hierarchy. (Figure 1 in paper)
• 2609.06758v1/popularpaper.png - Popular-paper roadmap across the L1–L4 controller levels. This shows the evolution. (Figure 2 in paper)
• 2609.06758v1/compare_final.png - Illustrative comparisons across adjacent controller levels. Conceptual examples for each level. (Figure 3 in paper)
• 2609.06758v1/fig4-part1.png and 2609.06758v1/fig4-part2.png - Four-tier taxonomy and roadmap of controller decision-making scope. (Figure 4 in paper) (These are combined from the text into one figure number, but are two separate images)
• 2609.06758v1/fig5-temporal.png - Half-year capability evolution in the structured corpus. Quantitative data about adoption of levels. (Figure 5 in paper)
• 2609.06758v1/fig6-cross-section.png - Corpus cross-sections (Modality x primary level and Controller organization x primary level). (Figure 6 in paper)
• 2609.06758v1/fig7-l0-l2.png - From L0 Fixed Support to L2 Execution Control. Diagram showing the flow. (Figure 7 in paper)
• 2609.06758v1/fig8-l3-l4.png - The distinction between L3 Outcome-Adaptive Control and L4 Experience-Adaptive Control. Diagram showing the flow. (Figure 8 in paper)
• 2609.06758v1/evaluation-causal-framework.png - Causal evaluation of agentic visual generation. (Figure 9 in paper)

I'll choose:

1. Figure 1 (firstpicture.png): Overall hierarchy visualization (L0-L4). This is the core concept.
2. Figure 5 (fig5-temporal.png): Quantitative landscape of capability evolution over time. This shows key results and trends.
3. Figure 9 (evaluation-causal-framework.png): Causal evaluation framework. This is a key contribution for evaluation.

Let's find the exact figure_id in the paper for these images and ensure the URL is correct.

• firstpicture.png corresponds to the first uncaptioned image after the abstract. The text refers to it as "Visual overview of controller decision-making scope." It is typically Figure 1. I'll use "Figure 1" for its ID.
• fig5-temporal.png is explicitly captioned as "Figure 5: Half-year capability evolution in the structured corpus..."
• evaluation-causal-framework.png is explicitly captioned as "Figure 9: Causal evaluation of agentic visual generation."

The URLs must be absolute: https://arxiv.org/html/2609.06758v1/x.png.

Final check on constraints:

• Technical Terminology in English: Yes, kept original terms.
• Natural Korean Phrasing: Yes, structured sentences in Korean.
• Mandatory Metadata: Yes, authors and keywords.
• Output format (Markdown + JSON): Yes.
• Sections: All 4 sections present.
• First sentence direct answer: Yes.
• Figure/Table references: Only selected ones, in [Figure N] format, immediately after relevant text.
• JSON format for figures: Yes, figure_id, image_url, caption_kr.
• Image URL rules: Absolute URL.
• Max 3 figures, no logos: Yes.

Confidence Score: 5/5 - I'm confident I can meet all requirements.저자: Yinming Huang, Shuyuan Tu, Xi Yan, et al.

1. Key Terms & Definitions

• Agentic Visual Generation: Generative models의 단일 호출(single invocation)을 넘어, 계획, 도구 선택, 중간 생성 결과물 검사, 실패 수정 및 이전 경험 재사용이 가능한 컨트롤러가 포함된 시각적 생성 프로세스를 의미한다.
• Controller Decision-Making Scope: Agentic 시스템의 컨트롤러가 시각적 생성 프로세스에서 내릴 수 있는 결정의 시간적 및 인과적 도달 범위를 지칭하며, 본 논문의 L0부터 L4까지의 계층을 정의하는 핵심 기준이다.
• L0 Fixed Support: 에이전틱 컨트롤러의 어떠한 결정 개입 없이 미리 결정된 추론 경로를 따르는 고정된 생성기, 편집기, 검색기, 평가기 등의 지원 구성 요소를 포함하는 단계이다.
• L1 Conditioning Control: 컨트롤러가 미리 결정된 실행기(executor)를 위한 입력 조건(예: textual prompt, spatial/geometric specification, retrieved evidence)을 구성하지만, 실제 어떤 시각적 operation이 실행될지는 제어하지 않는 단계이다 [cite: 1, Figure 1].
• L2 Execution Control: 컨트롤러가 실제 생성, 편집, 렌더링 또는 기타 콘텐츠 수정 operation을 동적으로 선택하고 호출할 수 있는 단계이며, 그 결과가 관찰되기 전에 operation을 결정한다 [cite: 1, Figure 1].
• L3 Outcome-Adaptive Control: 컨트롤러가 중간 결과물(perceptual, structured, execution, physical, human review feedback)을 관찰하고, 그 관찰을 사용하여 현재 task 내에서 후속 operation을 수정하는 단계이다 [cite: 1, Figure 1].
• L4 Experience-Adaptive Control: 컨트롤러가 완료된 task의 경험(예: capability/tool profiles, episodic/user memory, reusable procedures/skills, executable workflows/harnesses, policy/model updates)을 유지하고, 그 경험을 사용하여 미래의 독립적인 task에 대한 결정을 변경하는 단계이다 [cite: 1, Figure 1].

2. Motivation & Problem Statement

본 논문은 Visual Generation 분야가 단일 호출(single invocation) Generative Models에서 계획, 도구 선택, 중간 Synthesized Outputs 검사, 실패 수정 및 이전 경험 재사용이 가능한 Agentic Control Processes로 진화하고 있음을 강조한다. 기존 연구에서는 생성 시스템이 언제 Agentic으로 간주되어야 하는지에 대한 일관된 기준이 부족하며, Planning depth, Tool use, Multi-role collaboration, Reinforcement Learning 등이 Agenticity의 증거로 제시되었지만, 컨트롤러가 어떤 종류의 생성 결정을 내릴 수 있는지에 대한 명확한 정의는 제시되지 않았다. 이러한 불명확성으로 인해 연구 분야가 파편화되고 Agenticity 식별에 일관성이 결여되는 문제가 발생했다. 저자들은 이러한 한계를 극복하기 위해 컨트롤러의 Decision-Making Scope에 따라 분야를 체계적으로 조직하는 새로운 분류 체계를 제안한다.

3. Method & Key Results

저자들은 에이전틱 시각적 생성 시스템을 컨트롤러의 Decision-Making Scope를 기준으로 L0부터 L4까지의 계층적 분류(hierarchy)로 체계화하는 방법론을 제안한다. 이 계층은 컨트롤러가 생성 trajectory 내에서 미래의 어떤 생성 결정까지 인과적으로 변경할 수 있는지를 기준으로 시스템을 분류한다. L0 Fixed Support는 고정된 생성기, 편집기, 평가기 등 Agentic 컨트롤러 없이 미리 결정된 추론 경로를 따르는 구성 요소를 포함하며 프레임워크의 포함 경계(inclusion boundary)를 형성한다 [cite: 1, Figure 1]. L1 Conditioning Control은 컨트롤러가 고정된 실행기를 위한 입력 조건(예: prompt, layout, reference)을 구성하는 단계이고, L2 Execution Control은 컨트롤러가 실제 시각적 operation을 선택하고 호출하는 단계이다 [cite: 1, Figure 1]. 나아가 L3 Outcome-Adaptive Control은 중간 결과물(perceptual, structured, physical feedback 등)을 관찰하여 현재 task 내에서 후속 operation을 수정하며, L4 Experience-Adaptive Control은 완료된 task의 경험을 저장하고 이를 통해 미래의 독립적인 task에 대한 결정을 변경한다 [cite: 1, Figure 1].

주요 결과로, 이 프레임워크를 Image, Video, Editing, 3D, World, Slide, User-Interface Generation 분야에 적용한 결과, 컨트롤러 역량(capability)의 진화와 메커니즘의 레벨별 분포를 파악할 수 있었다. 특히, 2025년 이후의 급격한 시스템 증가는 L3 Outcome-Adaptive Control이 주도하는 것으로 나타났으며, 이는 생성된 결과물을 바탕으로 후속 결정을 내리는 within-trajectory feedback 방식이 현재 가장 흔한 Agentic behavior임을 시사한다 [cite: 1, Figure 5]. 반면, L4 Experience-Adaptive Control는 전체 연구의 작은 부분을 차지하며, Cross-task persistence 재사용이 within-task correction에 비해 덜 성숙한(less mature) 연구 도전 과제임을 보여준다 [cite: 1, Figure 5]. 또한, 저자들은 Level-conditioned Evaluation Framework를 개발하여, 동일한 생성기, 도구, 예산, 평가기를 사용하여 각 레벨에서 컨트롤러의 decision-making scope 확장이 가지는 한계 가치(marginal value)를 효과적으로 분리하여 평가할 수 있음을 제시한다 [cite: 1, Figure 9]. 이 평가 프로토콜은 L0 baseline 대비 L1에서 Specification Control, L2에서 Operation Selection, L3에서 Outcome-Dependent Repair, L4에서 Cross-Task Experience Reuse의 추가적인 가치를 정량적으로 측정하는 방법을 제공한다 [cite: 1, Figure 9].

4. Conclusion & Impact

본 논문은 Agentic Visual Generation을 컨트롤러의 Maximum Causal Reach를 기준으로 하는 L0부터 L4까지의 5단계 계층으로 정의함으로써, 기존의 파편화된 연구 분야를 통일된 관점으로 정리하는 데 기여했다. 이 분류는 Agenticity를 모델 크기, 시스템 복잡성, 출력 품질, 도구 수 또는 학습 방법과 독립적인 개념으로 명확히 구분한다. 특히, Within-trajectory feedback에 중점을 둔 L3 컨트롤러의 성장은 실제 응용 분야에서 생성 결과의 수정 및 개선이 중요함을 강조하며, 이는 Agentic Visual Generation 시스템의 지능적 자율성 및 적응성 향상에 중요한 시사점을 제공한다 [cite: 1, Figure 5]. 이 연구는 향후 연구 방향으로 Executable Action Interfaces, Reliable Visual Verification, Causal Credit Assignment, Selective Long-Term Memory와 같은 핵심 과제를 제시하며, 궁극적으로 Visual State와 Control State를 공유하여 보다 정교한 수정과 낮은 상호작용 비용을 가능하게 하는 Generator-as-Controller 패러다임으로의 전환을 제안한다. 이러한 제안은 시각적 생성 기술의 발전 방향을 제시하고, 학계 및 산업계에서 보다 지능적이고 자율적인 시각 콘텐츠 생성 시스템을 개발하는 데 중요한 이론적 및 실용적 기반을 제공할 것으로 기대된다.

Figure 1 — 컨트롤러 의사결정 범위 개요

Figure 9 — 에이전틱 시각 생성 인과 평가

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.