[논문리뷰] Multiscale Policy Optimization for Long-Horizon LLM Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Tao Ren, Hui Yang, Jia Deng, Tingyang Chen, Qiyao Wang, Shuo Tang, Ziyang Zeng, Yuhua Jiang, Guanghao Li, Huatong Song, Yining Li, Yifan Luo, Kunbao Ding, Feng Chang, Chuan Hao, Ran Tao, Bryan Dai, Jiafeng Liang, Jinyang Jiang

1. Key Terms & Definitions (핵심 용어 및 정의)

• MAE (Multiscale Advantage Estimation): 턴 단위의 GAE를 통해 상호작용 간 신용(Credit)을 전파하고, 턴 내부 토큰 단위로 세밀하게 신용을 재분배하는 기법입니다.
• Turn-level Importance Sampling: 토큰 단위의 비율이 아닌, 전체 완성된 턴(Complete turn)의 확률 비율을 사용하여 정책 업데이트를 수행하는 방식입니다.
• Macro Actions: LLM 에이전트의 전체 어시스턴트 턴(Assistant turn)을 하나의 의사결정 단위로 간주하는 개념입니다.
• Within-turn Distribution Shift: 토큰 단위의 Surrogates가 턴 단위의 목적 함수와 비교할 때 겪게 되는 분포 변화에 따른 추가적인 페널티를 지칭합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Long-horizon LLM 에이전트가 환경과 상호작용할 때 발생하는 신용 할당(Credit assignment)의 불일치 문제를 해결하고자 합니다. 기존의 GRPO 등 그룹 기반(Group-relative) 방식은 턴이나 토큰 단위의 개별적인 기여도를 무시하며, PPO와 같은 토큰 단위의 방식은 상호작용 규모와 생성 규모 간의 괴리를 명확히 분리하지 못합니다 [Figure 2]. 저자들은 Critic value가 토큰 내부보다 턴 단위에서 더 큰 변화를 보인다는 점을 포착하여, 에이전트의 학습이 이러한 계층적 구조를 반영해야 한다고 주장합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 MPO(Multiscale Policy Optimization)를 제안하며, 이는 MAE를 통해 턴 수준의 신용을 전파하고 턴 내부의 토큰 단위로 세밀하게 신용을 할당하는 방법론입니다 [Figure 1]. MAE는 턴 수준의 GAE를 사용하여 상호작용 전체의 credit을 결정한 뒤, 이를 중심화(Centering)하여 턴 내부 토큰들에 할당함으로써 턴 평균을 보존합니다. 이후 학습 과정에서는 전체 턴에 대한 Importance Sampling 비율을 적용하여 정책 업데이트의 안정성을 확보합니다. 실험 결과, 4B 및 30B 모델 규모의 Search, Tool-use, Automation 작업에서 MPO는 GRPO, PPO, VAPO, SAO 등 강력한 RL Baseline들을 일관되게 상회하는 성능을 보였습니다 [Table 1]. 특히 BrowseComp-Plus 벤치마크(4B 모델 기준)에서 기존 최상위 Baseline 대비 Pass@1 성능을 4.33%p 개선하였으며, Test-time scaling 관점에서도 더 많은 샘플링 시도 시 뛰어난 성능 지속성을 입증했습니다 [Figure 6].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 에이전트 학습에서 턴 단위의 거시적 신용과 토큰 단위의 미시적 신용을 결합하는 것이 필수적임을 이론적으로 증명하고, 이를 위한 MPO 프레임워크를 정립하였습니다. 이 연구는 Long-horizon 환경에서 LLM 에이전트의 강화학습 효율성을 극대화할 수 있는 새로운 표준을 제시합니다. MPO의 도입은 복잡한 도구 사용이나 자동화 작업에서 에이전트의 신뢰성과 추론 능력을 유의미하게 향상시킬 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.