[논문리뷰] β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

1. Key Terms & Definitions (핵심 용어 및 정의)

• OPSD (On-policy Self-distillation): 학생 모델이 자신의 생성 궤적(trajectory)을 통해 학습하되, Privileged Teacher로부터 토큰 단위의 감독 신호를 받는 방식입니다.
• $\beta$-OPSD: 본 논문에서 제안하는 일반화된 OPSD 프레임워크로, 기존 OPSD를 $\beta=1$인 특수 사례로 정의하고 $\beta$를 조절 가능한 정규화 매개변수로 사용합니다.
• Logit Interpolation: Reference Policy와 Privileged Teacher의 Logit을 가중 합산하여 학습 타겟을 생성하는 효율적인 기법입니다.
• Return-to-go Credit Assignment: 토큰 단위의 학습 신호를 시퀀스 수준의 목적 함수와 정렬하기 위해, 해당 토큰 이후의 미래 보상(Return-to-go)을 고려하여 가중치를 부여하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 OPSD가 가지는 취약성과 엔지니어링의 어려움을 해결하는 것을 목표로 합니다. 기존 연구들은 학생 모델이 Privileged Teacher를 직접 모방하도록 강제하며, 학습 과정에서 Reference Policy로부터 얼마나 멀어져야 하는지에 대한 명확한 제어 메커니즘을 제공하지 못합니다 [Figure 1]. 이러한 방식은 학습 초기 단계에서 모델이 급격하게 Teacher 분포로 투영되면서 최적화 불안정성을 유발합니다. 저자들은 OPSD가 사실은 KL-regularized Policy Optimization 가족의 $\beta=1$ 사례임을 밝혀내고, 이를 일반화하여 최적화 과정의 안정성을 확보하고자 합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 $\beta$-OPSD 프레임워크를 제안하며, 이는 Policy Optimization을 통해 유도된 최적 정책이 Reference Policy와 Privileged Teacher 사이의 기하학적 보간(geometric interpolation) 형태를 띰을 입증합니다. 직접적인 RL 최적화는 분산이 크고 비용이 많이 들기 때문에, 저자들은 이를 효율적인 증류(Distillation) 문제로 변환하여 Scheduled Logit Interpolation을 수행합니다. 또한, 토큰 단위의 근시안적 업데이트를 개선하기 위해 Return-to-go Credit Assignment를 도입하여 시퀀스 수준의 정렬을 달성합니다 [Figure 1]. 실험 결과, Qwen3-1.7B 모델에서 $\beta$-OPSD는 Vanilla OPSD 대비 AIME 2024, AIME 2025, HMMT 2025 평균 성능에서 최대 9.16%p 이상의 향상을 보였습니다 [Table 1]. 전체 모델 스케일에서 $\beta$-OPSD는 일관된 성능 우위를 점하며, 특히 SFT 및 GRPO와 같은 베이스라인보다 우수한 수학적 추론 능력을 입증했습니다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 OPSD를 Policy Optimization의 관점에서 재해석하여, $\beta$라는 새로운 제어 매개변수를 통해 학습 타겟을 체계적으로 조절할 수 있는 이론적 기반을 마련했습니다. $\beta$-OPSD는 모델 학습의 안정성을 크게 높이고, 별도의 복잡한 RL 기법 없이도 효율적인 토큰 단위 증류를 통해 고품질의 추론 능력을 유도할 수 있음을 보여줍니다. 이러한 방법론은 대규모 언어 모델의 post-training 과정에서 Privileged Teacher를 효과적으로 활용하고자 하는 학계와 산업계 전반에 중요한 지침을 제공할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.