[논문리뷰] Agent Lightning v1.0: Towards Harnessed Agentic RL

링크: 논문 PDF로 바로 열기

저자: Zhiyuan He, Siwei Zhang, Zhiwen Zhou, Yuqing Yang, Yu Kang, Yuge Zhang, Luna K. Qiu, Tin Yan Tsui, Jiahang Xu, Chong Luo

1. Key Terms & Definitions (핵심 용어 및 정의)

• Harnessed Agentic RL: 배포 시 사용하는 Agent Harness를 RL 학습 과정에 직접 통합하여 학습과 실제 사용 간의 간극을 줄이는 패러다임입니다.
• Agent Harness: 에이전트의 도구 사용, 환경 상호작용, 컨텍스트 관리 및 제어 흐름을 총괄하는 핵심 컴포넌트입니다.
• Retokenization: 모델 API를 통해 생성된 응답이 후속 프롬프트에 결합될 때 발생하는 토큰화 불일치 현상으로, 학습 안정성을 저해하는 주요 원인 중 하나입니다.
• Collocated Async RL: 학습(Update)과 롤아웃(Rollout) 작업을 동일한 GPU 풀에서 시간 분할(Time-sharing)하여 자원 효율성을 극대화하는 비동기 학습 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대 에이전트가 단일 LLM이 아닌 Agent Harness 내에서 작동한다는 점에 주목하여, 기존 RL 프레임워크가 harness의 복잡한 실행 로직을 수용하지 못하는 문제를 해결합니다. 기존의 Traditional Agentic RL과 달리 Harnessed Agentic RL에서는 훈련 엔진이 에이전트의 내부 상호작용을 관찰할 수 없으며, 이로 인해 retokenization, advantage calculation, loss normalization, training backend scheduling과 같은 새로운 난관이 발생합니다 [Figure 2]. 저자들은 기존 연구들이 이러한 도전 과제들을 충분히 정의하지 않았으며, 이로 인해 불완전하거나 불안정한 학습이 발생한다고 지적합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 약 3,500줄의 코드로 구현된 경량 프레임워크인 Agent Lightning v1.0을 제안하며, 시스템 복잡성을 최소화하면서도 Harnessed Agentic RL의 핵심 난제들을 체계적으로 해결합니다 [Figure 1]. Agent Lightning v1.0은 API Gateway를 통해 롤아웃 상태를 관리하고, Rollout Controller를 활용하여 Kubernetes 기반의 확장 가능한 에이전트 실행 환경을 제공합니다. 특히, collocated async 방식을 도입하여 synchronous RL 대비 약 2배의 End-to-End 속도 향상을 달성하였습니다 [Figure 6]. 실제 성능 검증 결과, Qwen3.5-9B 모델에 RL을 적용하여 SWE-bench Verified 데이터셋에서 기존 41.8% 대비 56.4%로 14.6%의 압도적인 성능 향상을 기록하였습니다. 또한, 검색 및 일반 명령어 수행 에이전트에서도 각각 16.6%, 18.3%의 성능 향상을 입증하며 제안 기법의 범용성을 확인하였습니다 [Figure 7, Figure 8].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Harnessed Agentic RL 패러다임에서 발생하는 기술적 도전 과제들을 최초로 체계화하고 이를 해결하는 경량 프레임워크인 Agent Lightning v1.0을 제시하였습니다. 이 연구는 복잡한 에이전트 환경을 별도의 재구현 없이 RL 학습 파이프라인에 통합할 수 있는 실용적인 경로를 제공합니다. 또한, 코드 기반 에이전트 학습을 위한 재현 가능한 데이터 파이프라인과 스크립트를 오픈소스로 공개하여 향후 에이전트 연구의 효율성과 접근성을 크게 제고할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.