[논문리뷰] Sample-Efficient Learning from Agent Experience

링크: 논문 PDF로 바로 열기

저자: Chenhui Gou, Haoqin Tu, Yunhao Fang, Jianfei Cai, Hamid Rezatofighi

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Experience Distillation: 에이전트의 상호작용 경험을 별도의 환경 상호작용 없이 모델 가중치로 내재화하는 기술적 문제 및 해결책을 지칭함.
• In-context Learning (ICL): 모델이 별도의 파라미터 업데이트 없이, 주어진 문맥 내의 경험이나 데모를 통해 과제를 수행하는 능력을 의미함.
• Context Distillation: teacher 모델이 privileged context를 통해 획득한 지식을 student 모델의 가중치로 전이하는 학습 기법임.
• Sample Efficiency: 환경과의 상호작용 횟수를 최소화하면서 에이전트의 성능을 최적화하는 효율성을 측정하는 지표임.
• Branched Rollouts: 월드 모델의 오류 누적 문제를 완화하기 위해, 실제 데이터의 브랜치 지점에서 짧게 시뮬레이션하는 기법임.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 실제 환경과의 상호작용이 매우 비용이 많이 드는 상황에서 에이전트가 경험으로부터 효율적으로 학습하지 못하는 문제를 해결하고자 한다. ICL은 샘플 효율적인 학습을 제공하지만, 문맥이 제거되면 학습된 지식이 유지되지 않는 휘발성을 가진다. 기존의 Context Distillation을 에이전트 경험에 적용하려는 시도들은 추가적인 환경 상호작용을 요구하거나 월드 모델의 오류 누적으로 인해 실용성이 떨어진다. 따라서 저자들은 환경 상호작용이나 월드 모델 없이 수집된 경험을 가중치로 Consolidation 하는 Experience Distillation을 제안한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 one-step branched rollouts를 활용하여 환경 상호작용을 배제한 새로운 distillation 목적 함수를 제안한다. 이를 구현하기 위해 수집된 경험을 전처리하는 Experience Preprocessing, 추론을 강화하는 Enhanced Teacher Reasoning, 학습 효율을 높이는 Branch Packing 기법을 적용하였다. [Table 1]에 따르면, Experience Distillation은 curated SWE 태스크에서 51.4%의 pass@1을 기록하며 ICL 이득의 64.8%를 유지하였고, TaleSuite에서는 93.4%를 유지하였다. 이는 단순 SFT가 3.8% 이하의 매우 낮은 유지율을 보인 것과 대조된다. 또한 [Figure 1]에서 확인할 수 있듯이, ICL + EPD 방법은 기존 RL 베이스라인 대비 적어도 9.6배에서 최대 57.2배 적은 환경 샘플을 사용하면서도 대등하거나 더 높은 성능을 달성하였다.

Table 1 — 제안 모델이 SFT 및 ICL reference 대비 성능 유지율(GICL)을 얼마나 효과적으로 보존하는지 보여주는 핵심 비교표

Figure 1 — 제안 기법이 RL 대비 환경 샘플 효율성 면에서 압도적으로 우수함을 입증하는 성능 그래프

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 에이전트의 상호작용 기록을 가중치로 효율적으로 내재화하는 Experience Distillation의 가능성을 입증하였다. 이 연구는 환경 상호작용 비용이 높은 현실적인 도메인에서 에이전트의 지속적인 학습을 가능하게 하는 새로운 paradigm을 제시한다. 또한, OOD 태스크로의 전이와 반복적인 collect-and-distill 주기를 통한 성능 누적 효과를 확인하여, 향후 자율 에이전트의 효율적인 모델 파라미터 업데이트에 중요한 기여를 할 것으로 기대된다.

Table 3 — Branch-packing 기법이 연산 시간과 학습 단계를 줄이면서도 성능을 유지함을 보여주는 최적화 입증 테이블

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.