[논문리뷰] Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuanpu Cao, Saket Sathe, Hanyu Wang, Ziyi Yin, Fenglong Ma, Jinghui Chen

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Distillation: 고성능 LLM(Teacher)의 Reasoning 및 Tool-use 역량을 더 작은 SLM(Student)으로 전이하는 과정입니다.
• Progress Stagnation: Distilled SLM Agent가 복잡한 다중 턴(Multi-turn) 환경에서 이전 단계의 실패한 전략을 반복하며 해결 방향을 찾지 못하고 무한 루프에 빠지는 현상입니다.
• Reason-Act-Observe Cycle: Agent가 추론(Thought), 행동(Action), 환경 피드백 관찰(Observation)을 반복하며 문제를 해결하는 표준 프레임워크입니다.
• Stagnation Score: 현재의 Thought와 Action이 이전 턴의 기록과 얼마나 유사한지를 Lexical, Semantic, LLM-as-judge 관점에서 정량화한 지표입니다.
• ProD (Progress-Aware Distillation): 학생의 추론 궤적(Trajectory)에서 발생하는 정체 현상을 탐지하고, Teacher와의 상태 차이를 바탕으로 adaptive margin을 적용해 최적화하는 방법론입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 SFT 기반으로 학습된 SLM Agent가 실전 환경에서 겪는 Progress Stagnation 문제를 해결하기 위해 제안되었습니다. 기존의 Supervised Fine-Tuning(SFT) 방식은 Teacher의 성공적인 궤적을 모방하도록 학습하지만, 긴 추론 체인과 노이즈가 섞인 환경 피드백 속에서 모델이 반복적으로 실패한 전략을 수행하는 고질적인 한계를 보입니다. 이러한 stagnation은 모델 규모가 작을수록, Trajectory가 길어질수록 더욱 심화되며, 결과적으로 모델의 작업 성공률과 효율성을 심각하게 저하시킵니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 ProD(Progress-Aware Distillation) 프레임워크를 통해 Student-generated trajectory의 stagnation을 명시적으로 탐지하고, 이를 최적화 과정에서 동적으로 페널티를 부여하여 해결합니다. ProD는 Teacher와 Student 간의 stagnation gap을 인코딩하여 adaptive margin을 계산하며, 이를 통해 stagnation이 심각한 궤적에 더 큰 교정 신호를 제공합니다 [Algorithm 1]. 8개의 서로 다른 SLM(0.6B~8B)을 활용한 실험 결과, ProD는 기존 SFT 대비 In-domain 작업에서 평균 4.7%, Out-of-domain 작업에서 4.9% 이상의 정확도 향상을 달성했습니다 [Table 3]. 또한, 불필요한 반복 턴을 줄임으로써 평균 응답 토큰 수를 약 20.7% 감소시키는 등 우수한 효율성을 입증했습니다 [Table 4]. [Figure 3]은 ProD가 Lexical, Semantic, Judgment 지표 모두에서 stagnation을 효과적으로 억제함을 보여줍니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Agentic 역량의 SLM 전이 과정에서 발생하는 핵심 장애물인 Progress Stagnation 현상을 성공적으로 규명하고, 이를 완화하는 실질적인 해결책인 ProD를 제시하였습니다. 이 방법론은 단순히 정답을 모방하는 것을 넘어, Teacher가 가진 문제 해결의 '진행 방식'과 '흐름'을 SLM이 학습하도록 유도합니다. 본 연구는 경량화된 모델로도 고성능 Agent 시스템을 구축할 수 있는 가능성을 열어주었으며, 향후 자원 제약이 있는 실제 배포 환경에서 Agent의 신뢰성과 효율성을 높이는 데 크게 기여할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.