[논문리뷰] Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability

링크: 논문 PDF로 바로 열기

메타데이터

저자: Bingxi Hou, Guochao Jiang, Guofeng Quan, Weiqing Li, Wenfeng Feng, Guohua Liu, Yuewei Zhang

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• On-Policy Distillation (OPD): 학생 모델이 자신의 정책으로 생성한 궤적(trajectory)에 대해 교사 모델의 피드백을 받아 학습하는 기법.
• Cross-Tokenizer OPD: 서로 다른 토크나이저를 사용하는 교사와 학생 모델 간의 정렬(alignment)을 통해 지식을 증류하는 방식.
• Strict 1:1 Groups: 교사와 학생의 토큰이 동일한 응답 범위를 차지하는 1:1 대응 위치를 지칭하며, 주로 엄격한 정렬의 기반이 됨.
• Supervision Reliability: 단순히 더 많은 학습 신호를 포함하는 것(Coverage)보다, 모델의 학습에 실제로 긍정적인 영향을 미치는 고품질의 신호를 제공하는 정도를 의미함.
• Shared Vocabulary: 교사와 학생 모델이 공통으로 사용하는 토큰 집합으로, 모델 간 분포 비교의 핵심적인 제약 영역.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 서로 다른 토크나이저를 사용하는 LLM 간의 Cross-Tokenizer On-Policy Distillation에서 정렬 범위(Alignment Coverage)를 확장하는 것이 반드시 모델 성능 향상으로 이어지는지 의문을 제기한다. 기존 연구들은 토큰 경계 불일치를 해결하기 위해 다양한 정렬 기법을 제안하며 더 많은 학습 신호(supervision)를 확보하려 노력해왔다. 하지만 저자들은 이러한 확장된 정렬 신호가 실제 학습 과정에서 학생 모델에 노이즈를 제공하거나 최적화 충돌을 야기할 수 있음을 관찰하였다. [Figure 1] 본 연구는 정렬 범위 극대화보다는 '감독 신뢰성(Supervision Reliability)'에 집중하는 것이 더 효과적임을 입증하고자 한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 Strict 1:1 alignment를 기반으로 한 distillation이 이미 대부분의 토큰을 커버하며, 추가적인 span supervision보다 더 높은 학습 가치를 지님을 증명한다. [Figure 1] 구체적으로, 학생 모델이 선택한 top-k 공유 어휘(shared vocabulary) 하위 집합이 교사 모델의 예측 확률 질량(predictive mass)의 대부분을 유지한다는 점을 밝혀냈다. [Figure 3] 실험 결과, Strict top-16 기법은 전체 공유 어휘를 사용한 경우와 유사한 성능을 보였으며, 모든 테스트 케이스에서 기존의 Cross-Tokenizer 베이스라인들을 상회하는 성능을 기록하였다. 반면, 불일치 그룹에 MSE loss를 추가하여 정렬 범위를 강제로 확장한 경우, 수학 및 코드 생성 성능이 오히려 저하되는 결과를 보였다. [Figure 2] 이는 span gradients가 strict gradients와 방향적으로 일치하지 않거나, 학습이 진행될수록 상대적 크기가 커지며 최적화를 방해하기 때문으로 분석된다. [Figure 4], [Figure 5]

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 Cross-Tokenizer Distillation의 핵심이 정렬 범위의 최대화가 아닌 감독 신뢰성에 있음을 명확히 하였다. 학생 모델이 방문하는 상태에서 고품질의 Strict 신호만을 사용하는 compact supervision이 더 효율적이고 안정적인 성능을 보임을 증명하였다. 이는 향후 LLM 증류 기법 설계에 있어, 무조건적인 신호 확장이 아닌 학습 신호의 선별적 중요도를 고려해야 한다는 중요한 가이드라인을 제시한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.