[논문리뷰] Qwen-Image-PE: Learning Visual Design for Text-to-Image Prompt Enhancement

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will extract the information required for the summary and figure JSON.

Authors: Zekai Zhang, Yanran Zhang, Shengming Yin, Yan Shu, Zhening Liu, Bingxuan Zhao, Chenyang Zhu, Donghao Zhou, Jiahao Li, Jiahao Wang, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Qihang Ai, Rui Song, Shuo Cao, Xiao Xu, Xiaoyue Chen, Yuxiang Chen, Zhendong Wang, Zhouyang Li, Zihao Liu, Zikai Zhou, Bo Zheng, Huishuai Zhang, Dongyan Zhao, Chenfei Wu. I will use "Zekai Zhang, Yanran Zhang, et al." for the metadata.

Keywords: Based on the abstract and introduction, keywords could be: Text-to-Image Generation, Prompt Enhancement, Visual Design, Supervised Fine-Tuning, Reinforcement Learning, Caption-Based Reverse Distillation, Groupwise Design Reward.

Figures to select:

• Figure 2: "Overview of Qwen-Image-PE." (Architecture diagram, very important)
  • URL: 2610.33472v1/figure2_1015.png -> https://arxiv.org/html/2610.33472v1/figure2_1015.png
  • Caption KR: "Qwen-Image-PE 개요"
• Figure 3: "Motivating Caption-Based Reverse Distillation." (Illustrates key motivation for CRD)
  • URL: 2610.33472v1/vpd_motivation_pel.png -> https://arxiv.org/html/2610.33472v1/vpd_motivation_pel.png
  • Caption KR: "CRD 동기 부여"
• Table 1: "Results on Qwen-Image-Bench." (Main quantitative results showing performance) - Table, not image.
• Table 2: "Evaluation of visual design and aesthetics." (Detailed quantitative results on design dimensions and aesthetics) - Table, not image.
• Figure 5: "Qualitative comparisons across four design dimensions." (Visual examples of improved design, very important)
  • URL: 2610.33472v1/comparison_table.png -> https://arxiv.org/html/2610.33472v1/comparison_table.png
  • Caption KR: "정성적 비교 결과"

I will choose Figure 2, Figure 3, and Figure 5 as they are image-based and represent the architecture, motivation, and qualitative results, respectively. Table 1 and Table 2 are crucial for quantitative results but they are HTML tables, not images, so I cannot include them in the JSON part based on the constraints.

Now I will proceed with writing the summary following the specified structure and constraints.

**저자:** Zekai Zhang, Yanran Zhang, et al.


## 1. Key Terms & Definitions (핵심 용어 및 정의)
본 논문에서 다루는 핵심 용어 및 정의는 다음과 같습니다:
- **Prompt Enhancement (PE)**: 사용자의 간결하고 불완전한 텍스트 요청(user requests)을 Text-to-Image (T2I) 모델이 고품질 이미지를 생성할 수 있도록 **Lighting**, **Composition**, **Layout**, **Detail**과 같은 시각적 디자인 요소를 포함하여 상세하고 명확한 프롬프트로 확장하는 프로세스를 지칭합니다.
- **Caption-Based Reverse Distillation (CRD)**: 잘 디자인된 이미지의 dense caption을 design supervision으로 활용하여 PE 모델을 지도 학습(supervised fine-tuning)하는 방법론입니다. 이미지에서 캡션으로의 역방향 프로세스를 통해 T2I generator의 훈련 캡션 분포와 PE가 생성하는 프롬프트 분포 사이의 **distribution gap**을 줄이는 것을 목표로 합니다.
- **Groupwise Design Reward (GDR)**: T2I generator가 생성한 일련의 후보 이미지(candidate images) 그룹을 멀티모달 Large Language Model (MLLM) judge가 Lighting, Composition, Layout, Detail과 같은 명시적인 디자인 기준(design rubrics)에 따라 공동으로 평가하여 보상(reward)을 부여하는 강화 학습(reinforcement learning) 기법입니다. 이는 개별 이미지 평가 방식(pointwise judging)이나 쌍별 비교(pairwise judging)보다 효율적이고 informative feedback을 제공합니다.
- **Chain-of-Thought (CoT) rationale**: 사용자의 요청과 타겟 캡션(enhanced-prompt target)을 연결하기 위해 LLM이 생성하는 추론(reasoning) 과정입니다. 이는 PE 모델이 디자인 선택을 설명하고 사용자의 요구 사항을 보존하는 데 도움을 줍니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의)
본 논문은 Text-to-Image (T2I) 생성에서 사용자의 불충분한 요청(underspecified user requests)을 시각적으로 일관성 있는 상세 사양(coherent visual specifications)으로 변환하는 <strong>Prompt Enhancement (PE)</strong>의 중요성 및 기존 방법론의 한계점을 해결하고자 합니다. 현대 T2I 모델은 **Lighting, Composition, Layout, Detail** 등 세부적인 시각적 사양을 따를 수 있지만, 사용자 요청은 종종 이러한 많은 선택 사항을 명시하지 않습니다. 기존 PE 방법들은 주로 사용자 의도를 보존하고 전반적인 시각적 매력을 개선하는 데 중점을 두었으며, 세분화된 디자인 차원(fine-grained design dimensions)에 대한 명시적인 강조가 부족했습니다. 이 연구는 PE가 **Lighting, Composition, Layout, Detail**과 같은 세분화된 디자인 차원을 명시적으로 학습하고 개선하는 방법을 연구하며, 이를 위한 효과적인 supervision targets 및 optimization feedback을 어떻게 번역할 것인가 하는 도전 과제를 다룹니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 fine-grained visual design을 학습하기 위한 **Qwen-Image-PE**라는 2단계 훈련 패러다임을 제안합니다. 첫 번째 단계에서는 <strong>Caption-Based Reverse Distillation (CRD)</strong>을 통한 **supervised fine-tuning**을 통해 PE가 잘 디자인된 이미지의 design choices를 모방하도록 합니다 [cite: 1, Figure 2]. CRD는 이미지에 대한 dense caption을 enhanced-prompt targets로 구성하며, 이를 통해 T2I generator의 training caption distribution과 PE가 생성하는 prompt distribution 사이의 **distribution gap**을 좁힙니다 [cite: 1, Figure 3]. 두 번째 단계에서는 <strong>Groupwise Design Reward (GDR)</strong>를 활용한 **reinforcement learning**을 통해 **Lighting, Composition, Layout, Detail**과 같은 세분화된 디자인 차원을 시각적 비교를 통해 정제합니다 [cite: 1, Figure 2]. GDR은 MLLM-based judge가 동일한 요청에 대한 모든 후보 이미지 그룹을 공동으로 평가하여 디자인 품질에 대한 informative feedback을 제공하며, <strong>Group Relative Policy Optimization (GRPO)</strong>을 통해 enhancer를 최적화합니다.

실험 결과, **Qwen-Image-PE-397B** 모델은 **Qwen-Image-2.1** T2I backbone을 사용하여 **Qwen-Image-Bench** 벤치마크에서 Original Request 대비 **Overall** 점수를 **7.81점** 향상시켰으며, 모든 5가지 평가 차원에서 가장 높은 점수를 달성했습니다. 특히, **Qwen-Image-PE-9B** 모델은 모든 평가된 PE baseline들을 **Overall** 점수에서 능가했습니다. 세분화된 시각적 디자인 및 미학 평가에서 **Qwen-Image-PE-397B**는 **Lighting, Composition, Detail**에서 선두를 차지했으며, **Layout** 점수도 GPT-5.5와 유사했습니다. 두 Qwen-Image-PE variant 모두 **UniPercept** metrics, **HPSv3**, **PickScore**에서 모든 baseline을 능가했습니다. 또한, **Qwen-Image-PE-397B**는 **Original Request** 대비 **35.48%**, **GPT-5.5** 대비 <strong>17.09%</strong>의 긍정적인 **net win rates**를 달성하며 인간 선호도 평가(Good/Same/Bad evaluation)에서도 우수함을 입증했습니다. 질적 비교(qualitative comparisons)에서도 Qwen-Image-PE가 생성한 이미지는 **Lighting, Composition, Layout, Detail**에서 더 표현력 있는 디자인 선택을 보여주었습니다 [cite: 1, Figure 5].

## 4. Conclusion & Impact (결론 및 시사점)
본 논문은 모방(imitation)과 비교적 정제(comparative refinement)를 통해 fine-grained visual design을 학습하는 **Qwen-Image-PE**를 성공적으로 제안했습니다. **Caption-Based Reverse Distillation**을 통한 지도 학습은 구체적인 design supervision을 제공하며, **Groupwise Design Reward**를 통한 강화 학습은 groupwise visual comparison을 통해 design choices를 정제합니다. 이 연구는 overall generation performance, visual design, 그리고 human preference 측면에서 significant improvements를 보여주었습니다. 또한, scaling experiments를 통해 충분한 **information density**가 효과적인 prompt enhancement의 전제 조건임을 밝혔습니다. **Qwen-Image-PE**는 학습에 사용된 T2I backbone 외의 4가지 추가 T2I backbone에도 잘 Generalize하며, native prompt enhancer를 능가하는 결과를 보여주어 학습된 visual design principles의 전이 가능성(transferability)을 시사합니다. 이 연구는 prompt enhancement 분야에서 visual design을 핵심 목표로 설정하는 미래 연구를 장려할 것으로 기대됩니다.

![Figure 2: Qwen-Image-PE 개요](/paper-images/2026-10-27/2610.33472/figure_2.png)

*Figure 2 — Qwen-Image-PE 개요*

![Figure 3: CRD 동기 부여](/paper-images/2026-10-27/2610.33472/figure_3.png)

*Figure 3 — CRD 동기 부여*

![Figure 5: 정성적 비교 결과](/paper-images/2026-10-27/2610.33472/figure_5.png)

*Figure 5 — 정성적 비교 결과*

> ⚠️ **알림:** 이 리뷰는 AI로 작성되었습니다.