[논문리뷰] Unlocking Any-Order Generation in Pretrained Autoregressive Image Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Rishav Pramanik, Marco Pedersoli, Zhaozheng Yin

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Any-Order Generation: 고정된 순서(Raster-scan 등)가 아닌 임의의 토큰 순서로 이미지를 생성하여 Inpainting, Outpainting 등 유연한 작업을 수행하는 방식.
• Future-Aware Positional Embeddings: 각 토큰이 다음에 예측할 대상 위치(Target position) 정보를 입력 레이어에서 식별할 수 있도록 주입하는 기술.
• Ordering Curriculum: 사전 학습된 Raster-scan 모델이 Any-order 환경에 적응하도록 학습 초기에는 정렬된 순서를, 점진적으로 무작위 순서를 학습시키는 최적화 기법.
• Identifiability Problem: 동일한 문맥(Context)이라도 예측 대상 위치가 다르면 조건부 확률 분포가 달라지는데, 이를 모델이 명확히 구분하지 못해 발생하는 학습 충돌 문제.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 Autoregressive (AR) 이미지 생성 모델이 가진 고정된 생성 순서의 한계를 극복하고, 사전 학습된 모델을 활용하여 효율적으로 Any-order 생성 기능을 구현하는 것을 목표로 한다. 기존 연구들은 Any-order 능력을 갖추기 위해 처음부터 모든 순서 조합을 학습시키는 방식을 채택하여 컴퓨팅 비용이 매우 높거나, Discrete diffusion과 같이 AR 인프라(KV caching, vLLM 등)와 호환되지 않는 구조를 사용하는 문제점이 있다 [Figure 1]. 저자들은 사전 학습된 AR 모델이 이미 이미지의 분포를 학습했으므로, 재학습 대신 효율적인 적응(Adaptation)만으로도 이 능력을 충분히 확보할 수 있다고 주장한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 사전 학습된 AR 모델을 Any-order 생성기로 변환하기 위해 Future-aware positional embeddings와 Ordering curriculum이라는 두 가지 핵심 요소를 제안한다. Future-aware positional embeddings는 입력 시퀀스에 다음에 예측할 대상의 인덱스를 더해 Identifiability problem을 해결하며, 이는 모델의 표준 Transformer 아키텍처를 수정하지 않아 기존 인프라와의 호환성을 유지한다 [Figure 1]. Ordering curriculum은 학습 과정에서 Raster-scan 순서에서 점진적으로 무작위 순서로 보간(Interpolate)하여, 사전 학습된 모델이 급격한 변화 없이 Any-order 최적화 지점으로 안정적으로 수렴하게 한다 [Figure 4].

실험 결과, 제안된 방법은 LlamaGen-XL 모델 기준 사전 학습 비용 대비 13~33%의 추가 컴퓨팅만으로 Any-order 능력을 성공적으로 도출하였다. ImageNet 벤치마크에서 MaskGIT 대비 Inpainting 성능이 우수하며(FID 6.21 vs 10.44), MAR-L과 경쟁 가능한 수준의 성능을 보여준다 [Table 3]. 또한 KV caching을 그대로 사용할 수 있어 추론 시에도 효율적인 Parallel decoding이 가능하다 [Figure 2].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 사전 학습된 AR 모델에 가벼운 적응(Adaptation) 단계만을 추가함으로써 추가적인 비용 없이도 강력한 Any-order 생성 능력을 잠금 해제할 수 있음을 입증하였다. 이 접근 방식은 모델을 처음부터 새로 학습시킬 필요 없이 기존의 우수한 사전 학습 모델 자산을 적극 활용할 수 있게 하여 학계 및 산업계의 생성 모델 효율성을 크게 향상시킬 것으로 기대된다. 특히 AR 생태계의 핵심 기술인 KV caching과 연동 가능하다는 점은 향후 대규모 생성 모델 배포 및 서비스 최적화에 중요한 시사점을 제공한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.