[논문리뷰] DreamLite: A Lightweight On-Device Unified Model for Image Generation and Editing

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

메타데이터

저자: Kailai Feng, Yuxiang Wei, Bo Chen, Yang Pan, Hu Ye, Songwei Liu, Chenqian Yan, Yuan Gao

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• DreamLite : 본 논문에서 제안하는 0.39B 파라미터 규모의 경량화된 통합형 온디바이스 diffusion model.
• In-context conditioning : 타겟 이미지와 조건 이미지(source 또는 blank)를 spatial concatenation을 통해 입력하여 생성 및 편집 작업을 단일 네트워크에서 처리하는 방식.
• Task-progressive joint pretraining : T2I pretraining, Editing pretraining, Unified joint training의 3단계 순차적 학습을 통해 compact model의 불안정한 학습을 보완하는 전략.
• DMD (Distribution Matching Distillation) : 복잡한 다단계 denoising 과정을 4단계로 압축하여 실시간 추론을 가능하게 하는 효율적인 증류 기법.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

최근 diffusion model은 T2I generation과 text-guided editing 분야에서 비약적인 발전을 이루었으나, 대부분 수십억 개의 파라미터를 필요로 하여 온디바이스 환경에서의 배포에 한계가 있다. 기존 경량화 모델들은 주로 T2I 생성 기능에 집중되어 있으며, 생성과 편집 기능을 동시에 제공하는 통합 모델이 부족하여 사용자 경험이 단절되는 문제가 있다. 또한, 두 기능을 분리하여 배포할 경우 리소스 소비와 시스템 복잡도가 증가한다. 이를 해결하기 위해 저자들은 0.39B 수준의 소규모 모델로 생성과 편집을 통합한 DreamLite 를 제안한다 [Figure 2].

3. Method & Key Results (제안 방법론 및 핵심 결과)

DreamLite 는 pruned UNet 을 백본으로 하며, 입력단에서 타겟 이미지와 조건 이미지를 spatially concatenate하여 생성 및 편집 작업을 통합적으로 처리한다 [Figure 2]. 학습 안정성을 위해 T2I→Editing→Joint로 이어지는 task-progressive joint pretraining 을 수행하며, SFT 와 RL 을 통해 인간의 선호도와 정렬시킨다 [Figure 3]. 최종적으로 DMD2 를 활용하여 샘플링 과정을 4단계로 압축하였다. 실험 결과, GenEval 에서 0.72, ImgEdit 에서 4.11의 점수를 기록하며 기존 경량 모델인 SnapGen 이나 SANA-0.6B 를 상회하는 성능을 달성하였다 [Table 2, Table 4]. 특히, Xiaomi 14 기기에서 1024×1024 해상도의 이미지를 1초 이내에 생성하거나 편집할 수 있는 속도를 구현하였다 [Table 7].

4. Conclusion & Impact (결론 및 시사점)

DreamLite 는 단일 경량 네트워크에서 이미지 생성과 편집을 모두 지원하는 최초의 통합형 온디바이스 diffusion model이다. 본 연구는 모델의 경량화뿐만 아니라, task-progressive 학습 프레임워크를 통해 compact model의 최적화 효율을 입증하였다. 이 결과는 고성능 이미지 편집 기능을 개인용 모바일 기기에서도 원활하게 제공할 수 있는 중요한 기술적 기반을 마련하였으며, 향후 실시간 AI 미디어 도구의 보급에 큰 기여를 할 것으로 기대된다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 2",
    "image_url": "https://arxiv.org/html/2603.28713v1/x2.png",
    "caption_kr": "DreamLite의 전체 통합 아키텍처"
  },
  {
    "figure_id": "Figure 3",
    "image_url": "https://arxiv.org/html/2603.28713v1/x3.png",
    "caption_kr": "UNet 백본의 아키텍처 진화"
  },
  {
    "figure_id": "Figure 7",
    "image_url": "https://arxiv.org/html/2603.28713v1/x7.png",
    "caption_kr": "모바일 기기 실사용 예시"
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.