[논문리뷰] On the Geometry of On-Policy Distillation

2026년 6월 8일수정: 2026년 6월 8일

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

## 1. Key Terms & Definitions (핵심 용어 및 정의)

OPD (On-policy Distillation): 학생 모델이 스스로 생성한 궤적(rollouts)을 사용하여, 더 강력한 교사 모델로부터 토큰 단위의 지도를 받아 학습하는 사후 훈련 패러다임입니다.
Relaxed Off-Principal Regime: OPD가 파라미터 공간 내에서 위치하는 영역으로, SFT의 dense한 principal 업데이트와 RLVR의 sparse한 off-principal 업데이트 사이의 중간적 특징을 보입니다.
Subspace Locking: 학습 과정에서 누적된 업데이트($\Delta W_t$)가 훈련 초기부터 좁은 저차원 채널(low-dimensional channel)로 진입하여 유지되는 현상을 의미합니다.
bf16-aware Update Sparsity: bfloat16 정밀도 환경에서 업데이트 값이 너무 작아 소실되는 현상을 고려하여, 실제로 파라미터 변화가 일어난 비율을 측정한 지표입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 OPD가 SFT와 RLVR의 특성을 모두 공유함에도 불구하고, 파라미터 공간에서의 구체적인 학습 동역학(training dynamics)은 제대로 규명되지 않았다는 점을 핵심 문제로 정의합니다. 기존 연구들은 SFT가 주성분 방향으로 dense한 업데이트를 수행하고, RLVR은 pretrained 구조를 보존하며 sparse한 영역을 공략함을 밝혔으나, OPD의 고유한 기하학적 궤적은 미지수로 남아있습니다. 저자들은 OPD가 단순히 두 패러다임의 중간 지점에 불과한 것인지, 아니면 고유한 기하학적 구조를 갖는지 확인하고자 합니다. 본 연구는 OPD가 파라미터 공간 내에서 어떻게 위치하는지 [Figure 1], 그리고 훈련 과정에서 어떤 고유한 궤적을 따르는지 밝히는 데 집중합니다 [Figure 1].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 OPD의 기하학적 특성을 규명하기 위해 update sparsity, subspace rotation, spectral drift, update localization이라는 4가지 parameter-space diagnostics를 제안합니다. 실험 결과, OPD는 SFT 대비 더 적은 파라미터를 수정하면서도 RLVR보다는 덜 제약적인 relaxed off-principal regime에 위치함을 확인했습니다 [Figure 2]. 특히 OPD는 훈련 초기부터 저차원 업데이트 채널에 고정되는 subspace locking 현상을 보이는데, 이는 SFT가 훈련 내내 업데이트 subspace를 확장하는 것과 대조적입니다 [Figure 4]. 훈련 초기 20% 시점에 추출한 rank-16 subspace에만 업데이트를 제한하는 실험에서, OPD는 성능 저하 없이 학습을 지속했으나 SFT는 유의미한 성능 저하를 보여, 해당 subspace가 OPD에 기능적으로 충분(functionally sufficient)함을 입증했습니다 [Figure 6]. 정량적으로는 bf16 기준 약 50% 수준의 sparsity를 유지하며, SFT(8.1%)와 RLVR(77.2%) 사이의 명확한 기하학적 경계를 형성합니다 [Table 1].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 OPD가 단순한 중간 상태가 아니라, subspace locking을 통해 조기에 획득한 저차원 채널 내에서 학습하는 고유한 기하학적 동역학을 가짐을 밝혀냈습니다. 이러한 발견은 향후 OPD 알고리즘 설계 시 토큰 수나 롤아웃 정책뿐만 아니라, 업데이트 subspace의 기하학적 제어(geometry control)가 성능 안정성과 효율성을 결정짓는 핵심 요소임을 시사합니다. 본 논문은 사후 훈련 방법론의 해석 가능성을 높이고, 보다 안정적인 모델 최적화를 위한 이론적 토대를 제공합니다.