[논문리뷰] DiffusionGemma Technical Report

링크: 논문 PDF로 바로 열기

저자: DiffusionGemma Team, Adrien Ali Taïga, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Discrete Diffusion: 연속적인 벡터 대신 이산적인 토큰 공간에서 확률 경로를 통해 텍스트를 생성하는 모델링 프레임워크입니다.
• Canvas: 병렬적인 토큰 생성을 위해 모델이 한 번에 처리하는 256개의 토큰 블록을 의미합니다.
• TPF (Tokens Per Forward): 단일 forward pass당 생성되는 토큰의 수로, 모델의 병렬화 효율을 나타내는 지표입니다.
• Adaptive Stopping: 모델의 예측 엔트로피와 출력 안정성을 기반으로 denoising 단계를 동적으로 조절하여 불필요한 연산을 줄이는 효율성 기법입니다.
• SD·RL (Sampler Distillation & Reinforcement Learning): 샘플링 효율을 극대화하면서 동시에 생성 품질을 유지하도록 설계된 통합 온라인 학습 단계입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존 Autoregressive(AR) 모델이 가진 엄격한 순차적 생성 방식의 메모리 병목 현상을 해결하기 위해 DiffusionGemma를 제안합니다. AR 모델은 매 토큰을 생성할 때마다 KV cache를 활용하여 순차적으로 연산해야 하므로, 저지연(ultra-low latency) 환경에서 컴퓨팅 자원 활용도가 낮아지는 한계가 있습니다. 기존의 텍스트 확산 모델들은 속도와 지능 사이에서 극단적인 타협을 강요하거나, 폐쇄적인 API에 국한되는 등 접근성에 문제가 있었습니다. [Figure 1]은 DiffusionGemma가 기존 모델들과 비교하여 속도와 품질 간의 새로운 Pareto frontier를 구축했음을 시사합니다.

Figure 1 — DiffusionGemma의 속도 대비 품질 지표가 기존 모델들에 비해 우월한 새로운 Pareto frontier를 형성하고 있음을 보여주는 핵심 그래프

## 3. Method & Key Results (제안 방법론 및 핵심 결과) DiffusionGemma는 Gemma 4 26B A4B 모델을 기반으로 하여, 256개 토큰의 canvas를 병렬적으로 정제하는 이산 확산 방식을 적용한 2단계 훈련 파이프라인을 도입했습니다. 첫 단계인 SFT는 양방향 주의(bidirectional attention)와 노이즈 제거를 학습하며, 두 번째 단계인 SD·RL은 강화학습과 샘플러 증류를 통해 지능을 유지하면서 denoising 경로를 압축합니다. 실험 결과, 이 모델은 단일 NVIDIA H100 GPU에서 기존 AR 모델 대비 약 7.1배 빠른 속도인 약 1,500 TPS(Tokens Per Second)를 달성하였습니다. [Figure 1]에서 볼 수 있듯이, 모델은 기존의 Gemma 4 모델 및 기타 확산 모델군을 압도하는 속도를 기록했습니다. 또한 [Table 3]에 따르면, DiffusionGemma는 다양한 벤치마크에서 고성능을 유지하면서도 TPF를 약 20 수준으로 끌어올려, AR 모델(TPF 1.0~1.4) 대비 압도적인 효율성을 입증했습니다.

Table 3 — 다양한 벤치마크에서 DiffusionGemma의 TPS와 TPF가 기존 AR 모델 및 기타 Diffusion 모델 대비 압도적으로 높음을 정량적으로 보여주는 핵심 결과 테이블

## 4. Conclusion & Impact (결론 및 시사점) DiffusionGemma는 텍스트 생성의 순차적 병목 현상을 극복하여 초고속 생성을 가능하게 하는 혁신적인 아키텍처를 제시했습니다. 본 연구는 사전 학습된 AR 모델의 가중치를 활용하여 확산 모델로 변환하는 효율적인 경로를 입증했으며, 이는 latency-critical한 애플리케이션 개발에 있어 중요한 전환점이 될 것입니다. 특히, 오픈 웨이트 공개를 통해 연구 커뮤니티가 이산 확산 모델을 다양한 도메인에 적용하고 최적화할 수 있는 강력한 토대를 제공함으로써, 향후 AI 인프라 구축의 효율성에 지대한 영향을 미칠 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.