[논문리뷰] InstanceControl: Controllable Complex Image Generation without Instance Labeling

링크: 논문 PDF로 바로 열기

메타데이터

저자: Xiaoyu Liu, Huan Wang, Fan Li, Zhixin Wang, Jiaqi Xu, Ming Liu, Wangmeng Zuo

1. Key Terms & Definitions (핵심 용어 및 정의)

• Instance-level Correspondence: 텍스트 프롬프트 내의 개별 객체 설명(instance description)과 시각적 조건(visual condition)의 특정 영역을 일대일로 매칭하는 개념입니다.
• Shared SEG Token (SST): 프롬프트 내에서 동일한 객체가 여러 번 언급될 때, 이들을 동일한 객체로 인식하고 일관된 마스크를 생성하기 위해 여러 <SEG> 토큰을 통합하는 전략입니다.
• Mask Refinement Module (MRM): 1단계에서 VLM이 예측한 노이즈 섞인 마스크를 confidence score와 cross-attention 정보를 바탕으로 정교하게 보정하는 핵심 모듈입니다.
• Correspondence Mask: 텍스트와 이미지 토큰 간의 attention 메커니즘을 제어하여, 특정 인스턴스의 영역이 해당 인스턴스의 텍스트 설명에만 반응하도록 유도하는 행렬입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 Controllable Image Generation 방법론들이 복잡한 다중 인스턴스 환경에서 겪는 Attribute Confusion 문제를 해결하기 위해 InstanceControl을 제안합니다 [Figure 1]. 기존 ControlNet 기반 모델들은 단순한 장면에서는 효과적이지만, 인스턴스 수가 증가함에 따라 서로 다른 객체 간의 속성이 섞이는 문제를 노출합니다. 이를 해결하려는 최신 연구들은 수동 Instance Labeling(예: 바운딩 박스, 마스크)을 요구하여 실용성이 크게 제한됩니다. 따라서 저자들은 인간의 인지 방식을 모방하여, 추가적인 라벨링 없이도 텍스트 프롬프트와 시각적 조건을 자동으로 연결하는 새로운 접근 방식을 정의합니다.

Figure 1 — 기존 모델 대비 속성 제어 우위

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 VLM을 활용한 Instance-level Text-Visual Condition Association과 Instance-aware Controllable Generation으로 구성된 2단계 프레임워크를 제안합니다 [Figure 2]. 1단계에서 VLM은 프롬프트로부터 객체 설명을 파싱하고, 시각적 조건에서 해당 마스크를 자동으로 예측하며, Shared SEG Token (SST) 전략을 통해 다중 언급 객체의 일관성을 확보합니다. 2단계에서는 예측된 마스크의 노이즈를 보정하기 위해 Mask Refinement Module을 도입하며, 정제된 마스크와 텍스트 정보를 Correspondence Mask로 변환하여 Diffusion Transformer의 attention 연산을 제어합니다 [Figure 2]. 실험 결과, InstanceControl은 복잡한 다중 인스턴스 데이터셋인 MIG-Eval에서 라벨링을 사용하지 않음에도 불구하고, 기존 FLUX ControlNet 대비 Accuracy와 Local CLIP Score에서 약 12.3%의 성능 향상을 기록했습니다 [Table 1]. 또한, 정성적 평가에서도 객체 간 속성 혼동 없이 복잡한 프롬프트를 정교하게 반영하는 우수한 성능을 입증했습니다 [Figure 3].

Figure 2 — InstanceControl 프레임워크 아키텍처

Figure 3 — 정성적 비교 결과

4. Conclusion & Impact (결론 및 시사점)

본 논문은 다중 인스턴스 이미지 생성에서 필수적이었던 수동 라벨링을 제거하고, VLM의 추론 능력을 통해 자동화된 세밀한 통제를 구현하였습니다. 이 연구는 Controllable Generation의 실용성을 크게 높였으며, 향후 Diffusion-based 생성 모델이 복잡한 사용자 의도를 정확히 해석하고 시각화하는 데 중요한 기술적 토대를 제공합니다. 특히, 별도의 라벨링 없이도 기존의 라벨링 기반 최신 모델들(예: CreatiLayout)보다 우수한 성능을 달성했다는 점에서 학계와 산업계 모두에 큰 시사점을 줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.