[논문리뷰] Co-Evolving Acting and Forecasting for Language Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haofei Yu, Yixing Chen, Yining Zhao, Xuyan Ye, Yuxiang Liu, Zhigang Hua, Yan Xie, Shuang Yang, Jiaxuan You

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CoPE (Co-evolving Acting and Forecasting): 에이전트의 acting 정책과 future action forecasting을 단일 LLM 백본 내에서 공동으로 최적화하는 제안 방법론입니다.
• Hindsight Action Chunk: 성공한 on-policy 궤적에서 추출한 것으로, 특정 history 이후 실제로 수행된 action 시퀀스를 지칭하며 정책 학습의 다단계 목표(multi-step target)로 활용됩니다.
• GRPO (Group Relative Policy Optimization): Critic 모델 없이 group 내의 보상 통계를 활용하여 정책을 최적화하는 RL 알고리즘으로, 본 연구의 기반 모델입니다.
• Temporal Ensembling: 예측된 미래 action들이 과거 history의 예측으로부터 간접적으로 반영되어 정책의 강건성을 높이는 현상입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 언어 에이전트 학습에서 long-horizon rollout의 높은 비용과 intermediate step에 대한 supervision 부족 문제를 해결하고자 합니다. 기존의 RL 방식은 최종적인 scalar 보상만을 활용하므로, 궤적 내의 중간 단계 action들에 대한 충분한 학습 신호가 결여되어 있습니다. 또한, 기존의 대안인 value targets나 observation targets(예: 환경 상태 예측)은 각각 정보의 불분명함이나 noisy한 observation 재구성 문제로 인해 효율적인 학습이 어렵습니다 [Figure 1]. 이러한 한계를 극복하기 위해 저자들은 observation 재구성이 아닌 decision-relevant한 action 시퀀스를 직접 예측하는 새로운 방식을 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 성공한 on-policy 궤적을 활용하여 multi-step action 시퀀스를 예측하는 CoPE를 제안합니다. CoPE는 정책 모델의 backbone을 공유하며, 각 history에서 미래의 action chunk인 $a_{t:t+K}$를 예측하는 auxiliary loss를 GRPO와 함께 최적화합니다 [Figure 2]. 이 과정에서 학습된 forecaster는 명시적인 환경 모델 없이도 hindsight 분포를 학습하며, acting과 forecasting은 공동으로 진화(co-evolve)합니다.

실험 결과, CoPE는 ALFWorld, ScienceWorld, WebShop, τ²-bench, AppWorld 등 5개 벤치마크에서 우수한 성능을 입증했습니다. 특히 ScienceWorld에서는 ECHO 대비 최대 1.9배, GRPO 대비 2.0배 높은 sample efficiency를 달성하였습니다. 또한, AppWorld와 같은 현실적인 태스크에서도 기존 베이스라인 대비 성능 향상을 보였으며, 별도의 모델이나 추가적인 inference 오버헤드 없이 순수하게 training 과정의 효율성을 극대화하였습니다 [Table 2], [Table 3].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 action forecasting을 통해 에이전트 학습의 중간 단계 supervision을 효과적으로 강화하는 새로운 프레임워크를 정립하였습니다. CoPE는 복잡한 환경에서 불필요한 observation 재구성 대신 결정론적인 action 정보에 집중함으로써 학습 효율성을 크게 개선했습니다. 이 연구는 언어 에이전트의 학습 데이터 활용도를 극대화하는 실용적인 길을 제시하며, 향후 다양한 에이전트 시스템의 sample-efficient 학습에 중요한 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.