[논문리뷰] RefGC-SR^2: Reference-guided Generated Content Super-Resolution and Refinement

링크: 논문 PDF로 바로 열기

저자: Jeahun Sung, Dahyeon Kye, Soo Ye Kim, Jihyong Oh

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• RefGC-SR^2: 저자들이 제안하는 새로운 후처리 작업으로, 저해상도 생성 결과물(LRGI)과 고해상도 참조 이미지(HRRI)를 입력받아 동시에 고해상도화(SR) 및 생성 아티팩트 정제를 수행하는 태스크입니다.
• LRGI (Low-Resolution Generated Image): 참조 기반 생성 파이프라인에서 생성된 저해상도 이미지로, identity distortion, detail inconsistency 등 다양한 생성 아티팩트를 포함하고 있습니다.
• HRRI (High-Resolution Reference Image): 사용자가 제공하는 고해상도 참조 이미지로, 모델이 생성물의 세부 디테일을 복원하는 데 활용하는 핵심 소스입니다.
• FreqMoLE (Frequency-adaptive Mixture of LoRA Experts): FLUX-Kontext의 계층별 주파수 계층 구조를 활용하여, 저주파수(LF) 및 고주파수(HF) 전문가 LoRA 모듈을 선택적으로 결합하는 모듈입니다.
• DipRefGC (Diptych-Conditioned RefGC Generator): RefGC-SR^2 학습을 위해 HRRI의 외형과 HRGT의 포즈 정보를 분리하여 정합성 있는 학습 삼중항(Triplet)을 합성하는 생성기입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 사용자 제공 고해상도 참조 이미지(HRRI)를 저해상도(LR)로 다운샘플링하여 입력하는 기존 파이프라인의 정보 손실 문제와, 이로 인해 발생하는 생성 아티팩트를 동시에 해결하고자 합니다. 기존의 RefGC(Reference-guided Generated Content) 모델들은 생성 과정에서 발생하는 identity distortion, detail inconsistency, texture loss 및 품질 저하를 효과적으로 다루지 못하며, 생성 후의 사후 정제(Refinement) 작업에서도 해상도 복원 능력이 부족하다는 한계가 있습니다. 이를 해결하기 위해 저자들은 HRRI를 후처리 단계에서 재사용하여 해상도와 품질을 동시에 개선하는 새로운 프레임워크를 제안합니다 [Figure 1].

Figure 1 — 본 연구의 핵심 태스크인 RefGC-SR^2의 개념과 해결하고자 하는 아티팩트 문제를 한눈에 보여주는 다이어그램

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 고해상도 ground-truth(HRGT) 정합 학습을 가능하게 하는 합성 데이터셋 구축 파이프라인인 DipRefGC를 제안하고, FreqMoLE를 탑재한 RefGC-SR^2 모델을 통해 아티팩트 정제와 Super-Resolution을 수행합니다. FreqMoLE는 FLUX-Kontext의 DiT 블록 내에서 레이어 깊이에 따라 LF 전문가와 HF 전문가의 가중치를 동적으로 조절하며, 주파수 기반 손실함수(Lf)는 저주파수 영역에서 HRGT와의 전역적 정합성을, 고주파수 영역에서는 HRRI와의 세부 디테일 통계적 일치를 강제합니다. 실험 결과, 제안 모델은 기존의 SR, RefSR, RefGCR 기법들과 비교하여 CLIP-I, DINO, PSNR, SSIM 등 주요 지표에서 압도적인 우위를 점했습니다 [Table 2]. 특히, 인간 평가(User study)에서 83%의 최고 순위(Rank-1) 획득률을 기록하며, 기존 기법들보다 월등한 artifact 제거 및 detail restoration 성능을 입증했습니다 [Figure 7].

Table 2 — 다양한 모델 대비 제안 모델의 성능 우위를 정량적 지표로 입증하는 핵심 테이블

Figure 7 — 인간 평가를 통한 모델의 실제 품질 및 선호도 비교 결과를 보여주는 핵심 지표

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 RefGC-SR^2라는 새로운 태스크를 정의하고 이를 해결하기 위한 데이터셋 및 모델 프레임워크를 성공적으로 제안하였습니다. 본 연구는 사용자가 이미 보유한 고품질 자산을 생성 결과물에 효과적으로 투영함으로써 개인화된 이미지 편집 및 상업적 제품 이미지 품질 향상에 크게 기여할 것으로 기대됩니다. 학술적으로는 생성 모델의 아티팩트와 해상도 복원 문제를 통합적 관점에서 해결하는 중요한 이정표를 제시하며, 산업적으로는 생성형 AI의 결과물을 실무 수준으로 끌어올리는 실용적인 post-processing 해법을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.