[논문리뷰] dOPSD: On-Policy Self-Distillation for Diffusion Language Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Phuong Tuan Dat, Qi Li, Xinchao Wang, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• dLLM (Diffusion Large Language Model): 마스킹된 시퀀스를 반복적인 denoising 과정을 통해 복원하며 텍스트를 생성하는 모델로, 병렬 디코딩과 양방향 컨텍스트를 활용함.
• dOPSD (On-Policy Self-Distillation): 외부 라벨 없이 모델 자신의 denoising trajectory에서 도출된 정보를 Privileged Information으로 활용하여, 학습 시 dense하고 on-policy한 토큰 단위 supervision을 제공하는 방법론.
• PI (Privileged Information): 일반적인 학습 상황에서는 접근할 수 없으나 학습 시 teacher 모델의 성능 향상을 위해 제공되는 정보.
• PI-free Collapse: 모델이 inference 시점에 접근 불가능한 instance-specific한 PI를 활용해 학습할 경우, 여러 teacher의 모순된 정보가 압축되어 결과적으로 성능이 저하되는 현상.
• Trajectory Verification: 생성된 결과물의 정확성을 검증하여 올바른 rollout에 대해서만 학습함으로써, 부정확한 데이터로부터의 왜곡된 학습을 방지하는 메커니즘.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 dLLM의 추론 성능을 향상시키기 위한 효과적인 post-training 방법론의 부재 문제를 다룬다. 기존의 Supervised Fine-Tuning은 off-policy 문제로 인한 exposure bias에 취약하며, RLVR은 보상이 희소하고 sequence-level에 국한된다는 한계가 있다. 기존의 OPSD는 외부 reference solution을 PI로 사용하여 teacher를 강화하려 하지만, 이는 inference 시점에 사용할 수 없는 정보이므로 성능 개선에 실패하거나 PI-free collapse 현상을 초래한다. 따라서 저자들은 외부 정보에 의존하지 않고 모델 내부의 생성 과정에서 스스로 privileged signal을 얻는 새로운 접근 방식의 필요성을 제기한다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 모델 자신의 denoising trajectory를 teacher의 privilege로 활용하는 dOPSD를 제안한다. student 모델이 중간 denoising 단계에서 예측을 수행할 때, 동일한 모델이 teacher로서 더 많이 복원된 후속 trajectory 단계들을 참조하여 더 높은 정확도의 정보를 제공하도록 설계되었다 [Figure 1]. 저자들은 이 과정에서 token-level의 Jensen–Shannon Divergence를 목적 함수로 사용하며, 오직 정답이 확인된 올바른 rollout만을 학습에 활용하여 신뢰성을 확보한다 [Figure 1].

실험 결과, dOPSD는 Dream-7B-Instruct와 LLaDA-8B-Instruct 모델에서 기존 baseline(SFT, GRPO, naive OPSD) 대비 압도적인 성능 향상을 보였다. 구체적으로 Dream-7B-Instruct 기반의 GSM8K 정확도는 81.41에서 83.04로 상승하였으며, MATH500 데이터셋에서도 38.97에서 42.20으로 유의미한 수치 향상을 기록했다 [Table 1]. 또한, 코드 생성(HumanEval)과 같은 out-of-distribution 작업에서도 dOPSD가 유일하게 성능 향상을 보임으로써, 학습 데이터 외의 일반화 능력(Transferability)이 뛰어남을 입증했다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 diffusion 언어 모델의 특성을 활용한 효율적인 self-distillation 프레임워크인 dOPSD를 성공적으로 도입하였다. 기존 OPSD가 겪던 PI-free collapse 문제를 trajectory 기반의 내부 privilege로 해결함으로써, 추가적인 외부 데이터나 복잡한 reward 모델 없이도 추론 능력을 강화할 수 있음을 증명했다. 이 연구는 대규모 언어 모델의 post-training 기법에 있어 인공지능이 스스로 자신의 생성 과정을 교정하는 새로운 학습 패러다임을 제시하며, 향후 다양한 비자기회귀적(non-autoregressive) 모델의 정렬(alignment)에 중요한 기술적 시사점을 제공한다.

---

Part 2: 중요 Figure 정보

Figure 1 — dOPSD의 전체 학습 파이프라인

Table 1 — 모델별 정량적 성능 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.