[논문리뷰] RetroAgent: From Solving to Evolving via Retrospective Dual Intrinsic Feedback

링크: 논문 PDF로 바로 열기

저자: Xiaoying Zhang, Zichen Liu, Yipeng Zhang, Xia Hu, Wenqi Shao

핵심 연구 목표

본 논문은 LLM 기반 에이전트가 복잡한 대화형 환경에서 정적인 문제 해결을 넘어 지속적인 적응 및 진화를 가능하게 하는 것을 목표로 합니다. 기존 RL 패러다임의 탐색 부족 및 학습된 지식의 암묵적 특성으로 인한 비효율적인 학습 및 취약한 일반화 문제를 해결하고자 합니다.

핵심 방법론

제안하는 RETROAGENT 는 에피소드 종료 후 회고적 자기 성찰 메커니즘 을 통해 이중 내재적 피드백 을 생성하는 온라인 RL 프레임워크입니다. 여기에는 이전 시도 대비 하위 작업 완료도를 정량화하는 내재적 수치 피드백 과 재사용 가능한 교훈을 메모리 버퍼 에 저장하는 내재적 언어 피드백 이 포함됩니다. 메모리 검색은 관련성, 유틸리티 및 탐색의 균형을 맞추는 Similarity & Utility-Aware Upper Confidence Bound (SimUtil-UCB) 전략을 사용하며, 정책 최적화는 GRPO 를 기반으로 합니다.

주요 결과

RETROAGENT 는 네 가지 도전적인 에이전트 벤치마크에서 기존 메서드를 크게 능가하며 SOTA 성능을 달성했습니다. 특히, ALFWorld 에서 +18.3% , WebShop 에서 +15.4% , Sokoban 에서 +27.1% , MineSweeper 에서 +8.9% 의 성공률 향상을 보였습니다. 또한, 강력한 테스트 시간 적응력과 분포 외 시나리오에 대한 일반화 능력을 입증했습니다.

AI 실무자를 위한 시사점

이 연구는 LLM 기반 에이전트가 단순한 문제 해결을 넘어 지속적으로 학습하고 진화할 수 있는 강력한 프레임워크를 제공합니다. 내재적 수치 피드백 과 언어 피드백 의 결합은 기존 외재적 보상만으로는 얻기 어려운 탐색 및 경험 활용 가이드를 제공하여 에이전트의 견고성과 적응성을 크게 향상시킬 수 있습니다. 특히 SimUtil-UCB 와 같은 지능적인 메모리 검색 전략은 AI 시스템의 장기적인 학습 및 의사결정 능력 개선에 중요한 기여를 합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.