[논문리뷰] Denser neq Better: Limits of On-Policy Self-Distillation for Continual Post-Training

링크: 논문 PDF로 바로 열기

저자: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

1. Key Terms & Definitions (핵심 용어 및 정의)

• SDPO (Self-Distillation Policy Optimization): 모델 스스로를 교사(Teacher)로 삼아 증류(Distillation)를 수행하는 기법으로, 이전 상태의 모델이나 문맥이 보강된 상태의 모델을 교사로 활용하여 토큰 수준의 밀집 감독(Dense supervision)을 학생 모델에 제공함.
• GRPO (Group Relative Policy Optimization): 여러 개의 샘플링된 응답 그룹 내에서 상대적인 이득(Advantage)을 계산하여 시퀀스 수준에서 보상을 최적화하는 기법으로, 토큰 수준의 증류보다 보수적인 업데이트를 수행함.
• Continual Post-Training: 모델이 이전 지식을 망각(Catastrophic Forgetting)하지 않으면서 새로운 도메인이나 작업 능력을 지속적으로 습득하게 하는 학습 패러다임.
• Confirmation Bias: SDPO와 같은 밀집 감독 방식에서 학생 모델이 생성한 오류나 artifacts를 교사 모델이 그대로 다시 학습 대상으로 삼아 반복적으로 강화함으로써 발생하는 부정적인 피드백 루프.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 Continual Post-Training 과정에서 온-폴리시(On-policy) 학습이 망각을 완화한다는 기존의 낙관적 견해를 비판적으로 재검토하고, 특히 SDPO와 같은 토큰 수준의 밀집 증류 기법이 오히려 모델의 성능 저하와 붕괴를 초래할 수 있음을 입증합니다. 기존 연구들은 온-폴리시 데이터의 사용이 망각 방지에 효과적이라고 주장했으나, 저자들은 증류의 밀도와 업데이트 방식이 모델에 미치는 영향을 구분해야 한다고 강조합니다. [Figure 1]에서 볼 수 있듯이, SDPO는 단기적으로는 특정 도메인에 대한 전문화를 가속화하지만, 지속적인 학습 과정에서는 GRPO에 비해 훨씬 더 심각한 망각과 성능 붕괴 현상을 나타냅니다.

Figure 1 — SDPO와 GRPO의 지속 학습 성능 비교를 시각화한 핵심 그래프

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 토큰 수준의 밀집 감독이 안정적인 교사 신호 없이는 정교한 망각을 유발함을 이론적/실험적으로 증명하고, 이를 완화하기 위한 StableSDPO 전략을 제시합니다. 실험 결과, SDPO는 학습 데이터와 분포가 가까운 경우 강력한 성능 향상을 보이지만, 중간 정도의 분포 거리를 가진 작업들(Intermediate-distance tasks)에서 가장 큰 성능 저하를 보이는 '중간 거리 간섭(Intermediate-distance interference)' 패턴이 관찰되었습니다. [Table 1]에 따르면, 기존 SDPO 방식에 비해 StableSDPO (restart-and-freeze)를 도입할 경우 MATH 벤치마크 평균 성능이 개선되며, 특히 EMA(Exponential Moving Average) 기반의 빠른 교사 업데이트가 야기하는 학습 노이즈를 효과적으로 억제합니다. 또한, 시퀀스 수준의 보상을 사용하는 GRPO는 모델의 파라미터 드리프트(Drift)를 최소화하면서도 장기적인 성능 유지력 면에서 우수한 결과를 나타냄을 확인했습니다.

Table 1 — 제안하는 StableSDPO 기법이 기존 SDPO의 한계를 극복함을 보여주는 정량적 결과

4. Conclusion & Impact (결론 및 시사점)

본 연구는 토큰 단위의 밀집 증류가 항상 최선의 결과를 가져오지는 않으며, 오히려 모델의 지속적인 학습을 저해하는 불안정한 신호가 될 수 있음을 결론짓습니다. 저자들은 촘촘한 감독(Dense supervision)이 지역적 적응력은 높일 수 있으나 파라미터 공간과 응답 매니폴드의 과도한 변형을 유도하여 망각을 가속화한다는 점을 규명했습니다. 따라서 향후 LLM의 지속 학습을 위해서는 단순한 증류 밀도 향상보다는 토큰 가중치 조절, 안정적인 교사 설계, 또는 데이터의 artifact를 인식하는 정교한 전략이 필수적임을 시사합니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.