[논문리뷰] LensErase: A Foundation Model for Erase Anything

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yunuo Chen, Xiuyu Wu, Qinhong Yang, Jinjing Zhao, Yanchen Dong, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• LensErase-100M: 모델의 범용성을 확보하기 위해 구축된 1억 107만 개의 쌍(source-mask-target)으로 구성된 대규모 학습 데이터셋입니다.
• Mask-Aware RoPE (Rotary Positional Encoding): 마스크 정보를 별도의 토큰 시퀀스 없이 3D positional encoding을 통해 모델의 condition branch에 직접 주입하는 기술입니다.
• Contract-Guided Reward: 이미지 편집 시 제거 대상, 관련 효과(그림자 등), 보존 영역을 정의한 '계약(Contract)'에 기반하여 RL 보상을 계산하는 방법론입니다.
• TraceFusion: 생성된 이미지와 원본 이미지의 잔차(residual)를 분석하여 편집된 영역을 정교하게 추정하고, 이를 제외한 나머지 영역의 픽셀을 원본으로 복원하는 후처리 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 다양한 실세계의 제거(Erase) 요구사항을 범용적으로 해결할 수 있는 Foundation Model인 LensErase를 제안합니다. 기존의 객체 제거 연구들은 특정 도메인에 국한되거나, 작은 객체부터 거대 객체, 텍스트, 워터마크 등 다양한 유형을 동시에 처리하는 데 한계가 있었습니다. 특히, 단순히 객체를 지우는 것을 넘어 그림자나 반사와 같은 부수적 시각 효과를 처리하고, 배경을 고품질로 복원하며, 편집하지 않은 영역의 보존성을 유지하는 것이 핵심 과제입니다 [Figure 1]. 기존 모델들은 데이터셋 규모의 제약과 정교한 편집-보존 트레이드오프 조절의 어려움으로 인해 실제 활용 시 품질 편차가 크게 발생합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Lens 텍스트-이미지 생성 모델을 기반으로 하며, 마스크 정보를 효과적으로 처리하기 위해 Mask-Aware RoPE를 도입한 MMDiT 아키텍처를 채택했습니다 [Figure 3]. 모델은 LensErase-100M 데이터를 활용한 region-weighted flow matching 기법으로 사전 학습되었으며, 이후 고품질 데이터에 대한 Supervised Fine-Tuning (SFT)을 거칩니다. 편집 결과의 완성도를 극대화하기 위해 DiffusionNFT 기반의 강화학습(RL)을 적용하여 Removal, Reconstruction, Preservation 등을 포괄하는 contract-guided reward를 최적화합니다. 마지막으로 TraceFusion을 통해 불필요한 편집 아티팩트를 제거하고 원본의 fidelity를 보존합니다. 실험 결과, LensErase는 12개의 비교 대상 모델 대비 6개의 공공 벤치마크와 제안된 LensErase-Bench에서 정량적 지표와 VLM 평가 모두에서 압도적인 성능 우위를 점했습니다. 특히 객체 제거 완결성과 복원 품질을 동시에 만족하는 HiFi Removal 지표에서 탁월한 수치를 달성하며 범용 편집 모델로서의 효용성을 입증했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 마스크 기반의 범용 제거 모델 LensErase를 통해 복잡한 이미지 편집 작업을 대규모 데이터와 고도화된 RL 프레임워크로 해결하였습니다. 이 연구는 특정 도메인에 매몰되지 않고 워터마크, 텍스트, 객체 등을 하나의 모델로 처리할 수 있는 새로운 가능성을 제시합니다. 향후 LensErase는 자동화된 이미지 편집 파이프라인 및 고품질 콘텐츠 생성 시스템의 핵심적인 구성 요소로서 학계와 산업계 전반에 걸쳐 강력한 기반 모델이 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.