[논문리뷰] Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement

링크: 논문 PDF로 바로 열기

The paper "Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement" by Yi Ding and Ruqi Zhang explores the effectiveness and underlying mechanisms of On-Policy Distillation (OPD) in improving Large Language Models (LLMs). The authors introduce a new method called On-Policy Self-Adaptation (OPSA).

I need to extract the following information:

• Authors: Yi Ding, Ruqi Zhang
• Keywords: I will select 5-8 relevant technical terms.
• Key Terms & Definitions: OPD, RLVR, OPSA, Advantage, Entropy.
• Motivation & Problem Statement: OPD's teacher supervision is noisy and its reliability is unclear, especially in off-policy contexts. The actual source of student improvement in OPD is questioned.
• Method & Key Results:
  • OPSA is proposed, a supervision-free method using entropy-adaptive negative advantages.
  • It updates only low-logp tokens and scales negative advantages with token entropy.
  • Quantitative results: OPSA significantly improves Avg@32 and Pass@32 across various models and benchmarks (e.g., Qwen3-1.7B, Qwen3-4B, Qwen3.5-9B on AIME24, AIME25, HMMT25).
  • OPSA outperforms baselines like GRPO, TTRL, OPD, and OPSD.
  • OPSA elicits reflective long-form reasoning.
• Conclusion & Impact: OPD's gains may stem more from reshaping the student policy's distribution than from teacher imitation. OPSA provides an effective, fine-grained learning signal from internal uncertainty.
• Figures: Identify up to 3 important figures, get their URLs and brief Korean captions.
  • Figure 1: Overview of OPSA and comparison with other RL methods. This seems like a good candidate for overall architecture/framework. Image URL: 2608.31046v1/opsa.png
  • Figure 2: Performance under noisy teacher signals. This shows key findings about the problem. Image URL: 2608.31046v1/opsa.png (This is tricky as the image in the HTML uses "opsa.png" for both Fig 1 and Fig 2, which is incorrect. Let me double check if there's any other specific image for Figure 2. Looking at the HTML structure, the <img> tag is right after Figure 1 caption and before Figure 2 title. This means that opsa.png is only for Figure 1. Figure 2 content are just graphs without an <img> tag directly associated. I need to be careful with this constraint: "Table은 이미지가 아닌 HTML 테이블인 경우가 많습니다. 이미지 <img> 태그가 있는 Figure만 선별하세요." This means if Figure 2 is generated using HTML/CSS without an explicit <img> tag for the actual plot, I cannot select it. After checking, Figure 2 is indeed rendered as HTML graphs, not an <img>.
  • Figure 3: Token-level advantage distribution and training on top-logp tokens. Similar to Figure 2, these are also rendered within the HTML, not as explicit <img> tags.
  • Figure 4: Training dynamics with fixed advantages. Also rendered as HTML.
  • Figure 5: Training dynamics with dynamic negative advantages. Also rendered as HTML.
  • Figure 6: Examples of OPSA updates. This is a conceptual diagram. Image URL: 2608.31046v1/opsa-updates.png
  • Figure 7: OPSA elicits long-form reasoning. Also rendered as HTML.
  • Figure 8: Training dynamics when masking fork tokens. Also rendered as HTML.
  • Figure 9: Diversity analysis of OPSA. Also rendered as HTML.
  • Figure 10: Ablation study of token ratios. Also rendered as HTML.

It seems only Figure 1 and Figure 6 have explicit <img> tags with src attributes. I will pick these two.

Let's start drafting the summary.

Metadata:

• 저자: Yi Ding, Ruqi Zhang, et al. (The paper lists only two authors and their affiliation; no 'et al.' for two authors)

Part 1: Markdown Summary

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• On-Policy Distillation (OPD): 학생 모델이 생성한 궤적에 대해 강한 Teacher 모델이 토큰-레벨 Advantages를 제공하여 정책을 최적화하는 Reinforcement Learning (RL) 기법.
• Reinforcement Learning with Verifiable Rewards (RLVR): Multiple responses를 샘플링하고 검증 가능한 Reward를 정규화하여 Advantages를 할당하는 RL 방법론.
• On-Policy Self-Adaptation (OPSA): 외부 Supervision 없이 Entropy-adaptive negative advantages를 사용하여 low-log-probability 토큰을 억제하고 policy distribution을 재조정하는 self-improvement RL 방법론.
• Advantage: Reinforcement Learning에서 특정 행동의 가치가 평균보다 얼마나 더 좋은지를 나타내는 값으로, Policy update의 Learning signal로 사용됨.
• Entropy: 토큰 분포의 불확실성 또는 다양성을 측정하는 지표로, OPSA에서는 Advantage magnitude를 조절하는 데 활용됨.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 On-Policy Distillation (OPD)의 Teacher Supervision 신호가 off-policy context에서 본질적으로 noisy하며, 이러한 노이즈가 학생 모델의 성능 향상에 미치는 영향이 불분명하다는 문제를 제기한다. 기존 Reinforcement Learning with Verifiable Rewards (RLVR) 방식은 response-level의 coarse하고 sparse한 Supervision을 제공하며, 동일한 correctness outcome을 공유하는 response들의 advantages가 vanishing되는 한계가 있다. OPD는 이러한 한계를 극복하기 위해 Teacher 모델을 통해 dense한 token-level advantages를 제공하지만, 이는 off-policy student-sampled prefixes에 대한 Teacher의 신뢰성 문제를 야기한다. 저자들은 Teacher Supervision이 상당한 노이즈를 포함하며 Teacher의 scale이 커질수록 노이즈의 prevalence도 증가함을 정량적으로 분석하였고, 놀랍게도 학생 정책이 이러한 노이즈에 insensitive하게 반응하여 유사한 성능에 수렴함을 발견했다. 이러한 결과는 OPD의 성능 향상이 지식 transfer가 아닌 다른 메커니즘에서 비롯될 수 있다는 근본적인 질문을 던진다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 OPD의 성능 향상 원인을 분석하여, 학습이 주로 학생이 샘플링한 low log-probability tokens에 집중되며, Teacher Supervision 없이 fixed negative advantages만으로도 OPD와 유사한 성능을 달성할 수 있음을 밝혀냈다. 이러한 발견을 바탕으로, 본 논문은 On-Policy Self-Adaptation (OPSA)이라는 Supervision-free token-level RL 방법론을 제안한다. OPSA는 entropy-adaptive negative advantages를 사용하여 low-log-probability 토큰에 더 강한 Learning signal을 할당한다. 구체적으로, OPSA는 정책 분포를 재조정하여 tail tokens의 확률을 억제하고 head tokens 간에 probability mass를 고르게 재분배한다. 이는 low-entropy 위치에서는 분포를 Sharpening하고, high-entropy positions인 fork tokens에서는 다양성을 보존하여 효과적인 exploration을 지원한다. 실험 결과, OPSA는 Qwen3-1.7B 모델에서 AIME24의 Avg@32를 35.41점 향상시켜 263%의 상대적 gain을 달성했으며, 세 가지 수학적 추론 벤치마크 (AIME24, AIME25, HMMT25) 모두에서 Pass@32를 두 배 이상 향상시켰다. 또한, OPSA는 AIME24의 Avg@32에서 OPD 대비 16.77점 더 우수한 성능을 보였다. 이는 OPSA가 Teacher 모델 없이도 Baseline 대비 우수하거나 대등한 성능을 달성함을 의미한다.

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 OPD의 성능 향상 근원이 Teacher 모델의 지식 Distillation이 아니라, low-probability 토큰에 고정된 negative advantages를 할당하고 이를 토큰 레벨 entropy에 따라 조절함으로써 학생 정책의 자체 probability distribution을 재조정하는 데 있음을 규명한다. 이러한 분석을 기반으로 제안된 OPSA는 외부 Supervision 없이도 policy self-improvement를 가능하게 하는 효과적인 Framework이다. OPSA는 tail tokens를 억제하고 head tokens 간에 probability mass를 재분배함으로써 low-entropy 위치에서는 예측 confidence를 향상시키고 high-entropy reasoning forks에서는 exploration을 유지한다. 결과적으로 OPSA는 더 길고 reflective한 reasoning trajectory를 유도하여 Avg@32 및 Pass@32에서 상당한 성능 향상을 가져온다. 이 연구는 LLM의 post-training 패러다임에서 Teacher Supervision의 필요성에 대한 재검토를 촉구하며, 정책의 internal token-level uncertainty 자체가 효과적인 fine-grained learning signal로 작용하여 self-improvement를 달성할 수 있음을 시사한다.

Part 2: 중요 Figure 정보

I need to get the full URLs for Figure 1 and Figure 6. Figure 1: ![Refer to caption](2608.31046v1/opsa.png) -> https://arxiv.org/html/2608.31046v1/opsa.png Figure 6: Figure 6: Examples of OPSA updates. followed by ![Refer to caption](2608.31046v1/opsa-updates.png) -> https://arxiv.org/html/2608.31046v1/opsa-updates.png

Let's make sure the citations are correct and the output format matches.

• Authors: Yi Ding, Ruqi Zhang
• Keywords: On-Policy Distillation, Self-Adaptation, Reinforcement Learning, LLM Reasoning, Token-level Supervision, Entropy-adaptive Advantages, Mathematical Reasoning (7 keywords, good)
• Section titles are correct.
• List format for key terms is correct.
• Direct answer rule for the first sentence of each section.
• Figure/Table references format [Figure N] or [Table N].
• Specific numbers/metrics are bolded.
• JSON output after `

Figure 1 — 제안 모델 OPSA의 개요 및 성능

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.