[논문리뷰] APEX: Asynchronous Prefix Denoising for Extreme Compression

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will extract the information and generate the summary according to the specified format and constraints.

Authors: David Dinkevich, Nisan Chiprut, Yoav HaCohen, Dani Lischinski Affiliations: Lightricks, Hebrew University of Jerusalem Title: APEX: Asynchronous Prefix Denoising for Extreme Compression

I need to identify 5-8 keywords. From the abstract and introduction, I can pick: Latent Diffusion Models, Extreme Compression, Hierarchical Latent Space, Asynchronous Denoising, Channel Groups, Reconstruction-Generation Dilemma, Compute Efficiency, Image Generation.

Now, I will proceed with Part 1: Summary (Markdown).

Figure 1: "APEX enables extreme-compression latent diffusion." - This is an overview diagram showing the latent, denoising, and trade-off. This is important. Figure 2: "Channel hierarchy." - This figure illustrates the autoencoder training, diffusion training, and inference processes, which are core to the method. This is important. Figure 3: "Staged generation. Decodes after each level reaches t=0." - This figure shows qualitative results of the staged generation process. This is important.

I will use these three figures. I need to get their src attributes and form the full URLs. Figure 1: 2610.12843v1/teaser.png -> https://arxiv.org/html/2610.12843v1/teaser.png Figure 2: 2610.12843v1/method_fig2_prototype.png -> https://arxiv.org/html/2610.12843v1/method_fig2_prototype.png Figure 3: 2610.12843v1/exp_staged_generation.png -> https://arxiv.org/html/2610.12843v1/exp_staged_generation.png

Now I will write the summary.

**저자:** David Dinkevich, Nisan Chiprut, Yoav HaCohen, Dani Lischinski


## 1. Key Terms & Definitions (핵심 용어 및 정의)

- **Extreme Spatial Compression**: 이미지의 공간 해상도를 **128x128** 또는 **64x64**와 같이 매우 낮은 그리드로 압축하여, **Transformer**의 **attention cost**를 줄이는 기법입니다. 이는 더 적은 수의 **latent token**으로 이미지를 표현하게 합니다.
- **Reconstruction-Generation Dilemma**: **Latent diffusion model**에서 **spatial compression**을 강하게 적용할수록 **reconstruction quality**를 유지하기 위해 **channel** 수를 늘리게 되는데, 이 경우 **reconstruction quality**는 향상되지만 **generation** 난이도가 증가하여 전반적인 **generation quality**가 저하되는 trade-off 문제를 의미합니다.
- **Hierarchical Latent Space**: **latent token**의 **channel**들을 구조에서 디테일까지 순서대로 정렬된 여러 **group**으로 나누는 방식입니다. **APEX**의 **autoencoder**는 **progressively higher resolutions**에서 각 **prefix**를 **supervise**하여 이를 구현합니다.
- **Asynchronous Prefix Denoising**: 단일 **global clock** 하에 각 **channel group**이 서로 다른 **staggered local times**에서 **denoising**을 시작하도록 하는 방법론입니다. 이를 통해 **later levels**는 더 **clean**한 **preceding context**로부터 **refinement**를 예측할 수 있습니다.
- **Stagger Gap (`g`)**: **APEX**의 **asynchronous denoising schedule**에서 연속적인 **channel level**들 간의 **denoising start time** 지연을 나타내는 상수입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 **latent diffusion model**에서 **extreme spatial compression**을 적용할 때 발생하는 **reconstruction-generation dilemma**를 해결하여 **compute-efficient latent diffusion**을 가능하게 하는 것을 목표로 합니다. 기존 **latent diffusion model**은 **Transformer**의 **attention cost**가 입력 **token** 수에 따라 **quadratically** 증가하는 문제에 직면해 있으며, 이를 줄이기 위해 이미지의 **spatial grid**를 압축하는 방식을 사용합니다. 그러나 이러한 **aggressive spatial compression**은 **reconstruction quality**를 유지하기 위해 **channel** 수를 늘려야 하는 **dilemma**를 야기합니다. 즉, **channel** 수가 증가할수록 **reconstruction error**는 낮아지지만 **diffusion model**이 생성해야 할 정보량이 늘어나 **generation** 난이도가 증가하며 **generation quality**가 저하되는 한계가 있습니다. 기존 연구들은 **latent information**을 제한하거나 **pretrained semantic structure**를 활용하여 이 문제를 완화하려 했지만, 여전히 각 **prefix**가 **shared timestep**에서 **denoise**되는 한계가 있습니다. 특히, **512x512** 이미지에 대해 **128x128 spatial compression**이 적용되어 **16 token**만을 사용하는 경우 이러한 제약은 더욱 심화됩니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과)

**APEX**는 **extreme spatial compression** 환경에서 **reconstruction-generation dilemma**를 해결하기 위해 **hierarchical latent space**와 **asynchronous denoising over channel groups**를 결합한 방법론을 제안합니다. 먼저, **resolution-aware autoencoder training**을 통해 **channel**들을 **structure-to-detail** 순서로 정렬하고, 각 **cumulative channel prefix**를 **progressively higher resolutions**에서 **supervise**합니다. 예를 들어, **f64c8-32-128** 계층의 경우 8, 32, 128개의 누적 **channel**을 각각 **128x128**, **256x256**, **512x512** **target resolution**에서 **supervise**하여 초기 **level**이 **coherent layout**과 **shape**를 학습하고 **later level**이 **missing detail**을 복원하도록 유도합니다.

다음으로, **staggered channel diffusion**을 통해 단일 **shared Transformer**가 각 **channel group**을 **staggered local times**에서 **denoising**하도록 합니다. **global clock** `τ`를 사용하여 각 **level** `ℓ`이 **local time** `tℓ(τ)`를 가지며, **earlier levels**는 항상 **later levels**보다 더 **clean**한 **context**를 제공합니다. **unstarted group**은 **zeroed**되고, **denoising group**은 해당 **local time**에 따라 **noise**되며, **done group**은 **clean context**로 사용됩니다. 이 과정에서 **equal-gap stagger schedule** `g`를 사용하여 연속적인 **level** 간에 일정한 지연을 부여하고, **L0**가 **structure generation**의 부담을 가지므로 **L0**가 활성화된 구간에 **training probability**를 집중시킵니다. **APEX**는 이러한 **hierarchy**와 **asynchronous denoising**의 **co-design**이 함께 작동해야 성능 향상을 가져옴을 **ablation study**를 통해 입증했습니다.

실험 결과, **ImageNet-512** 데이터셋에서 **64x64** 및 **128x128 spatial compression** 시, **APEX**는 모든 평가된 **channel count**에서 기존 방법들을 **outperform**하며, **channel** 수가 증가함에 따라 성능 저하가 현저히 적었습니다. 특히, **f128c512** 설정에서 **APEX**는 **SiT-XL**과 함께 **16 token**으로 **8.98 guided gFID**를 달성하여 다른 모든 방법들이 **double digits**에 머무는 것과 대비됩니다. 또한, **training compute**를 동일하게 맞췄을 때, **APEX f64c128** 모델은 64 **token**으로 250 **NFE**에서 **2.74 gFID**를 달성하여 **f32c32** 256 **token** 모델의 64 **NFE**에서의 **2.95 gFID**를 능가했습니다. 이는 **sampling compute**가 낮을수록 **APEX**의 이점이 더욱 커진다는 것을 보여줍니다. 예를 들어, **f8c4 SD-VAE**가 **2.62 gFID**를 달성하는 데 필요한 **denoiser-training FLOPs**의 <strong>15%</strong>만을 사용하여 동일한 **gFID**를 달성했습니다.

## 4. Conclusion & Impact (결론 및 시사점)

**APEX**는 **resolution-aware channel prefix hierarchy**와 **asynchronous denoising across channels**를 결합하여 **extreme spatial compression** 환경에서 **latent diffusion model**의 **reconstruction-generation frontier**를 크게 개선했습니다. 이 연구는 **compute-constrained** 환경에서 **extreme compression**이 **quality-compute advantage**가 될 수 있음을 입증했으며, 이는 **efficient high-resolution image generation** 분야에 중요한 시사점을 제공합니다.

**APEX**는 **channel boundaries**, **per-level target resolutions**, **stagger gap**, **global-clock distribution** 등 여러 **design choice**를 수동으로 설정해야 하는 한계가 있지만, 이러한 요소들을 **autoencoder** 및 **denoiser**와 함께 **jointly learning**하는 것은 향후 연구 방향으로 제시될 수 있습니다. 궁극적으로 이 연구는 추가적인 **information bottleneck** 없이 **generative tractability**를 향상시키면서도 **comparable reconstruction quality**를 유지할 수 있는 새로운 접근 방식을 제시하여, **compute-efficient latent diffusion** 기술 발전에 크게 기여할 것입니다.

![Figure 1: APEX 모델 개요](/paper-images/2026-10-14/2610.12843/figure_1.png)

*Figure 1 — APEX 모델 개요*

![Figure 2: APEX 채널 계층 및 학습/추론](/paper-images/2026-10-14/2610.12843/figure_2.png)

*Figure 2 — APEX 채널 계층 및 학습/추론*

![Figure 3: 단계별 생성 결과](/paper-images/2026-10-14/2610.12843/figure_3.png)

*Figure 3 — 단계별 생성 결과*

> ⚠️ **알림:** 이 리뷰는 AI로 작성되었습니다.