[논문리뷰] TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training

링크: 논문 PDF로 바로 열기

저자: Yuhang Zhou, Kai Zheng, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• OPD (On-Policy Distillation): 학생 모델이 자체적으로 생성한 rollouts에 대해 교사 모델이 역방향 KL 보정 신호를 제공하여 학생을 학습시키는 프레임워크입니다.
• Turn-Aware Budgeting: 장기 에이전트 작업에서 에이전트의 결정이 여러 턴에 걸쳐 진행된다는 점을 고려하여, 단순히 토큰 단위가 아닌 턴 단위로 rollout 깊이와 손실 비중을 조절하는 전략입니다.
• External Mismatch: 고정된 길이의 rollout 수행 시 정보가 부족한 후반부 턴에 자원을 낭비하는 현상입니다.
• Internal Mismatch: 궤적 수준의 정규화로 인해 손실이 초반부 토큰에 과도하게 집중되어, 정작 중요한 후반부 결정 학습이 저해되는 문제입니다.
• Avg@4: 학습 마지막 4번의 평가 지점에서의 평균 정확도를 의미하며, 모델의 최종 성능을 측정하는 주요 지표입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 장기 계획 및 에이전트 환경에서 OPD가 겪는 자원 비효율성과 최적화 불균형 문제를 해결하기 위해 고안되었습니다. 기존의 고정 길이 rollout 방식은 후반부 턴에서 발생하는 노이즈가 많은 데이터에 불필요한 계산 자원을 소모하게 하며, 궤적 전체를 균일하게 정규화하는 손실 함수는 초반부의 쉬운 결정에만 집중하여 학습 효과를 떨어뜨립니다. 특히 이러한 한계는 [Figure 1]에서 시각화된 것처럼 에이전트의 궤적이 길어질수록 모델 학습의 효율성을 크게 저해하는 요소로 작용합니다. 이러한 문제를 해결하지 않으면 장기적인 의사결정이 필요한 복잡한 에이전트 작업에서 모델의 성능이 제한될 수밖에 없습니다.

Figure 1 — 제안하는 TurnOPD의 핵심 개념인 External mismatch와 Internal mismatch에 대한 시각적 요약입니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 턴 단위의 적응형 자원 분배를 통해 학습 효율과 성능을 극대화하는 TurnOPD를 제안합니다. TurnOPD는 첫째, 탐사 기반 turn 통계를 활용하여 rollout 길이를 동적으로 결정하는 Adaptive rollout-depth controller를 도입하여 불필요한 계산을 줄입니다. 둘째, Progressive turn-normalized loss budgeting을 통해 학습 초기에는 토큰 단위의 정규화를 사용하다가, 학습이 진행됨에 따라 점진적으로 턴 단위의 균형 잡힌 손실 배분으로 전환하여 후반부 결정에 대한 학습 중요도를 높입니다. [Table 2]에서 볼 수 있듯이, ALFWorld 환경에서 Qwen3-1.7B 학생 모델을 사용했을 때, TurnOPD는 Vanilla OPD 대비 정확도를 83.0에서 86.3으로 향상시키는 동시에 100-step 기준 학습 시간을 4.42시간에서 1.93시간으로 2배 이상 단축했습니다. 또한, WebShop 및 Multi-Hop Search와 같은 다양한 에이전트 작업에서도 TurnOPD는 다른 기법들보다 압도적인 accuracy-time 효율을 보여주었습니다.

Table 2 — 여러 환경(ALFWorld, Multi-Hop Search, WebShop)에서의 TurnOPD 성능과 Vanilla OPD 대비 학습 시간 단축 효과를 정량적으로 비교한 핵심 테이블입니다.

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 에이전트 학습에서 궤적을 단순히 평평한 토큰 시퀀스로 보지 않고, 턴 단위의 의사결정으로 해석함으로써 OPD의 효율성을 획기적으로 개선하였습니다. 제안된 TurnOPD는 효율적인 자원 사용과 최적화 전략을 결합하여 장기 에이전트 학습의 accuracy-time frontier를 확장했다는 점에서 큰 의의가 있습니다. 이러한 성과는 제한된 컴퓨팅 자원을 가진 환경에서도 복잡한 멀티 턴 작업을 수행하는 고성능 에이전트를 개발하는 데 중요한 기반 기술이 될 것으로 기대됩니다.

Table 5 — 제안하는 방법론의 두 가지 핵심 기법(Adaptive Depth, Linear blend)이 각각 성능과 효율성에 미치는 영향을 분석한 결과입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.