[논문리뷰] ReSAIL: Mitigating Collapse in Iterative Agent Self-Distillation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Shengjie Jin, Hengbo Xu, Zelong Sun, YuJie Guo, Zhiwu Lu

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Privileged Information (PI): 학습 단계에서는 사용 가능하지만 실제 배포(Deployment) 환경에서는 모델 입력에서 제외되는 추가적인 보조 데이터(예: reference solutions, hindsight feedback).
• Iterative Self-Distillation: 에이전트가 환경과의 반복적인 상호작용을 통해 생성된 경험을 바탕으로, 이전 단계의 모델(teacher)을 통해 새로운 모델(student)을 학습시키는 방식.
• PI Sensitivity: 동일한 상호작용 단계에서 PI가 있을 때와 없을 때의 모델 출력 분포 간 Jensen–Shannon Divergence (JSD)를 측정하여, PI가 예측에 미치는 영향력을 정량화한 지표.
• Performance Collapse: 반복적인 자가 증류(Self-Distillation) 과정에서 후속 사이클로 갈수록 에이전트의 배포 성능이나 PI 조건부 역량이 점진적으로 하락하는 현상.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 LLM 에이전트의 Iterative Self-Distillation 과정에서 나타나는 성능 저하 문제인 Performance Collapse를 해결하는 것을 목표로 한다 [Figure 1]. 기존 연구(Baseline)들은 매 사이클마다 에이전트의 행동을 개선하려고 시도하지만, 반복적인 학습이 누적됨에 따라 모델이 일반 배포 환경에서 성공률이 떨어지거나, 후속 사이클에서 교사(Teacher) 역할을 수행하기 위한 핵심 역량인 PI 조건부Competence가 감소하는 한계점이 존재한다. 연구진은 이러한 Collapse 현상이 Distillation 과정에서의 supervision이 불완전하고, 모델이 학습 중 PI를 활용하는 방식을 명시적으로 보존하지 못하기 때문에 발생한다고 지적한다. 따라서 본 연구는 더 견고한 학습 메커니즘을 통해 이러한 성능 저하를 방지하고자 한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 ReSAIL(Retentive and Selective Augmentation for Iterative Self-Distillation)이라는 새로운 플러그인 학습 프레임워크를 제안한다 [Figure 2]. ReSAIL은 크게 두 가지 모듈로 구성된다. 첫째, Trajectory-Balanced Selective Distillation (TBSD)는 PI Sensitivity를 사용하여 교사의 예측 변화가 가장 큰 상호작용 단계만 선택(SGS)하고, 이를 트래젝토리별로 손실을 균형 있게 조정(TLB)하여 학습의 효율성을 높인다. 둘째, Privileged Retention (PR)은 학생 모델이 다음 사이클의 교사가 되었을 때를 대비하여, PI가 조건화된 모델의 출력 분포를 고정된 이전 교사의 출력과 KL-Divergence를 통해 정규화함으로써 PI 활용 역량을 보존한다. 실험 결과, ReSAIL을 도입한 모델들은 ALFWorld 및 TextCraft 벤치마크에서 기존 SDPO 및 OEL 베이스라인 대비 최종 사이클 성공률이 평균 22.5%p 향상되는 우수한 성능을 보였다 [Table 1]. 특히 후속 사이클로 갈수록 성능이 급격히 저하되는 기존 방법론들과 달리, ReSAIL은 여러 사이클에 걸쳐 꾸준한 성능 유지 및 향상을 나타냈다 [Table 1].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 반복적 에이전트 학습에서 발생하는 Performance Collapse가 TBSD와 PR이라는 두 가지 핵심 메커니즘을 통해 효과적으로 제어될 수 있음을 최초로 입증했다. 이 연구는 단순한 성능 향상을 넘어, 에이전트가 재귀적으로 스스로를 개선해 나가는 Recursive Self-Improvement (RSI) 경로를 확보하는 데 중요한 기초를 제공한다. 특히, PI를 활용하는 학습 환경에서 모델이 자신의 내부 역량을 어떻게 보존하고 전이해야 하는지에 대한 정량적인 해결책을 제시함으로써, 향후 자율 에이전트의 장기적인 학습 안정성 확보에 큰 학술적/산업적 시사점을 제공한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.