[논문리뷰] From Corpora to Co-Evolving Capabilities: Capability-Centric Data Design for Generalist Image Generation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Xingjian Wang, Zhao Wang, Taihang Hu, Jun Zheng, Qing Jin, Qinye Zhou, Zhengtao Wu, Yongchao Du, Zuan Gao, Chao Lin, Yefeng Shen, Xiaoli Xu, Zhengze Xu, Hao Yan, Yuhang Yu, Mingzhou Zhang, Mengting Chen

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Capability-specific Data Pipeline: T2I, Image-Editing, Knowledge-Grounded Generation 등 개별 생성 능력에 최적화된 데이터를 독립적으로 구축하고 상호 운용성을 유지하는 인프라입니다.
• Capability-aligned Curriculum Scheduling: 모델의 생성 능력 발달 순서에 따라 데이터 혼합, 해상도, 품질 등을 단계적으로 진화시키는 5단계 학습 전략입니다.
• Caption Experts: VLM(Vision-Language Model) 기반의 캡셔닝 프레임워크로, T2I와 편집(Editing) 작업 간의 어휘 및 구조를 정렬하고 다양한 Granularity의 캡션을 생성합니다.
• Capability-Gap-Driven Active Feedback Loop: 모델 평가 결과에서 도출된 취약점(Capability gap)을 기반으로 데이터를 재구성하거나 보강하여 다음 학습 단계에 반영하는 최적화 루프입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 일반적인(Generalist) 이미지 생성 모델을 위해 데이터 구축 방식을 '데이터셋 중심'에서 '생성 능력(Capability) 중심'으로 전환해야 함을 제안합니다. 기존의 연구들은 T2I, 편집 등 각 태스크를 위한 데이터를 개별적으로 최적화하며, 모델이 태스크 간의 관계를 학습하거나 능력을 전이(Transfer)시키는 데 한계를 보입니다. 또한, 학습 데이터의 구성이 고정되어 있어 모델의 성숙도에 따른 최적의 학습 경로를 제시하지 못한다는 문제가 있습니다. 본 논문은 이러한 불연속적인 데이터 설계를 극복하고, 상호 의존적인 생성 능력들을 조화롭게 발전시킬 수 있는 통합 데이터 인프라를 구축하고자 합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 3개의 전문화된 데이터 엔진(T2I, Editing, Knowledge-Grounded)을 결합하여 복합적인 감독(Supervision)을 제공하는 능동적 데이터 파이프라인을 제안합니다 [Figure 1]. 저자들은 440M 규모의 T2I 말뭉치와 120M의 이미지 편집 쌍, 27M의 이미지-엔티티 쌍을 활용하여 3B 및 6B 규모의 멀티모달 디퓨전 모델을 성공적으로 학습시켰습니다. 특히 Caption Experts를 통해 편집 지시문과 T2I 캡션 간의 의미적 어휘와 구조를 정렬함으로써, T2I에서 습득한 개념이 편집 작업으로 원활하게 전이되도록 설계하였습니다 [Figure 4, 5]. 학습 과정은 256px에서 1024px로 해상도를 높이고, 작업 복잡도를 점진적으로 심화시키는 5단계 커리큘럼을 따르며, 능동적 피드백 루프를 통해 지속적으로 데이터를 보강합니다 [Figure 6]. 결과적으로, 다양한 텍스트-이미지 생성 및 편집 시나리오에서 우수한 일반화 성능과 정밀한 제어 능력을 검증하였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 데이터 디자인을 정적인 Corpus 구축이 아닌, 동적인 'Capability 발달'의 과정으로 재정의하였습니다. 제안된 프레임워크는 서로 다른 데이터 엔진들이 공유 인터페이스를 통해 상호 운용되도록 하여, 학습 효율을 극대화하고 새로운 생성 능력을 성공적으로 유도합니다. 이 연구는 대규모 멀티모달 모델 학습을 위한 데이터 설계 원칙에 있어 중요한 전환점을 제시하며, 향후 더 복잡하고 일반화된 인공지능 모델 구축을 위한 핵심 인프라로서 가치가 큽니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 능력별 데이터 구축 프레임워크

Figure 4 — 다양한 Granularity의 T2I 감독

Figure 6 — 능력 격차 기반 피드백 루프

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.