[논문리뷰] DAPD: Dual-Anchored Policy Distillation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Jianyu Wu, Yizhou Wang, Encheng Su, Chen Tang, Shixiang Tang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• OPSD (On-policy Self Distillation): 현재 모델(학생)이 생성한 궤적(rollout)을 학습 데이터로 삼아, privileged information(참조 정답 등)을 조건으로 하는 교사 모델로부터 지식을 증류하는 후학습 기법입니다.
• Privilege Illusion: 교사 모델이 학습 시에만 접근 가능한 privileged information에 과도하게 의존하여, 추론 시 해당 정보가 없음에도 불구하고 마치 있는 것처럼 행동하여 성능이 저하되는 현상입니다.
• Information Asymmetry: 학습 시 교사와 학생 간에 가용 정보가 불일치하는 상태로, 이것이 Privilege Illusion의 근본 원인입니다.
• Dual-Path Anchoring (DPA): 정보 가용성이 일치하는 두 개의 경로(unconditioned path, privileged path)를 구성하여 정답과 궤적의 행동을 정렬하는 기법입니다.
• Dual-Source Anchoring (DSA): 참조(reference)의 정답 정보와 궤적(rollout)의 학생 가용 정보를 모두 활용하여 증류 성능을 최적화하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 OPSD 과정에서 발생하는 Privilege Illusion 문제를 해결하기 위해 고안되었습니다. 기존 연구들은 privileged information을 직접 활용하거나, 교사 신호를 선별적으로 재가중하는 방식을 취했으나, 이는 근본적인 정보 비대칭성을 해결하지 못하는 한계가 있습니다 [Figure 2]. 저자들은 교사와 학생 간의 정보 가용성 차이가 Entangled Distillation을 초래하며, 이것이 학생 모델이 추론 시 근거 없는 주장을 하게 만드는 주원인임을 밝혀냅니다. 따라서 단순히 교사 신호를 수정하는 것을 넘어, 학습 시 교사와 학생의 정보 가용성을 일치시키고 모델의 추론 능력을 강화할 새로운 증류 프레임워크가 필요합니다.

Figure 2 — 학습 동학 및 성능 지표

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 DAPD(Dual-Anchored Policy Distillation)라는 통합 프레임워크를 제안합니다. DAPD는 Self 분포를 훈련 가능한 브리지로 도입하여 Dual-Path Anchoring (DPA)과 Dual-Source Anchoring (DSA)을 구현합니다 [Figure 3]. DPA는 unconditioned 경로와 privileged 경로를 통해 정보 가용성을 매칭시키며, DSA는 참조 정답의 정확성과 궤적의 학습 가능성을 균형 있게 결합합니다. Qwen3-4B 모델 기준, DAPD는 OPSD 대비 평균 성능을 +2.00 포인트 향상시켰으며, 더 큰 규모의 모델인 Qwen3-32B에서도 +2.78 포인트의 견고한 성능 우위를 보입니다 [Table 1]. 특히, DAPD는 late-stage wrong claims을 OPSD 대비 73% 감소시키며 추론 행동의 질을 획기적으로 개선하였습니다 [Figure 4].

Figure 3 — DAPD 아키텍처 개요

4. Conclusion & Impact (결론 및 시사점)

본 연구는 OPSD 내 Privilege Illusion의 근본 원인이 정보 비대칭성에 있음을 규명하고, 이를 해결하는 DAPD 프레임워크를 제시하였습니다. 제안된 Dual-Anchored 접근 방식은 모델 규모와 상관없이 일관된 성능 향상을 입증하며, 언어 모델 후학습 생태계에서 보다 안전하고 견고한 추론 모델을 구축하는 데 중요한 기술적 토대를 마련합니다. 이 연구는 향후 정보 비대칭이 존재하는 다양한 강화 학습 및 증류 태스크로 확장될 가능성을 제시합니다.

Figure 1 — 모델 성능 향상 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.