[논문리뷰] ClawGym II: Exploring Black-Box RL on Agent Harness

링크: 논문 PDF로 바로 열기

메타데이터

저자: Huatong Song, Fei Bai, Ming Yang, Renyuan Li, Jia Deng, Jujie He, Zhange Zhang, Daixuan Cheng, Yan Xing, Qi Yun, Xuxing Chen, Danyang Li, Feng Chang, Chuan Hao, Ran Tao, Jian Yang, Bryan Dai, Wayne Xin Zhao, Mingjie Tang, Ji-Rong Wen, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Harness: Language Model과 외부 환경 사이에서 도구 호출, 컨텍스트 관리, 워크플로우 조정 및 장애 복구 기능을 수행하는 운영 계층입니다.
• Black-Box RL: harness의 내부 로직이나 제어 흐름을 수정하지 않고, 모델의 입출력만을 관찰하여 정책을 최적화하는 강화학습 기법입니다.
• Prefix Tree: 다중 턴 상호작용에서 공유되는 히스토리를 효율적으로 복구하고, 파편화된 모델 호출들을 구조화하여 학습 데이터로 활용하기 위한 트리 구조입니다.
• Mix-Harness Training: 서로 다른 이기종 harness에서 생성된 rollouts을 통합하여 단일 모델을 공동으로 최적화하는 기법입니다.
• Serving Proxy: 모델 경계에서 호출을 가로채어 정책 실행을 관리하고 학습에 필요한 데이터를 수집하는 인터페이스입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 복잡한 Agent Harness 환경에서 범용 에이전트를 안정적이고 확장 가능하게 최적화하는 Black-Box RL 프레임워크를 제안합니다. 현대의 에이전트 시스템은 정교한 Harness에 의존하여 장기적인 작업을 수행하지만, 이러한 Harness의 내부 로직은 불투명(opaque)하며 파편화된 상호작용 데이터를 생성하기 때문에 기존의 직접적인 RL 적용이 어렵습니다. 또한, 대규모 병렬 실행 시 환경 일관성을 유지하고 효율적인 학습 데이터를 추출하는 인프라의 부재가 주요 한계점입니다. 저자들은 이러한 제약을 해결하기 위해 환경 격리와 데이터 복구를 포함한 통합 블랙박스 RL 프레임워크가 필요하다고 주장합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 샌드박스 기반의 실행 인프라를 구축하여 환경 격리를 보장하고, Prefix Tree를 통해 파편화된 호출 데이터를 멀티 턴 궤적으로 복구하는 방법론을 제안합니다. PPO와 GRPO 알고리즘을 이 트리 구조에 맞게 최적화하였으며, Training–Inference Consistency를 위해 토큰 단위의 중요도 샘플링(Importance-sampling)을 적용하였습니다. 실험 결과, Qwen3-30A3B 모델을 사용했을 때 OpenClaw와 Claude Code harness 환경에서 각각 Pass@1 점수가 ClawGym-Bench 기준 9.98점과 14.81점 향상되었습니다. 또한, Mix-Harness Training을 통해 이기종 harness 간의 성능 시너지를 입증하였으며, JobBench 및 OfficeQA와 같은 난이도 높은 과제에서도 일관된 성능 향상을 확인하였습니다 [Figure 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 복잡한 블랙박스 Harness 환경에서 범용 에이전트를 성공적으로 최적화할 수 있는 통합 프레임워크를 성공적으로 구축하였습니다. 이 연구는 에이전트 개발에서 Harness의 제약 없이 모델의 잠재력을 극대화할 수 있는 경로를 제시하며, 특히 Mix-Harness 최적화 기법은 다양한 실행 환경을 통합할 수 있는 범용적인 해결책을 제공합니다. 향후 학계와 산업계에서 복잡한 에이전트 시스템의 안정적인 학습을 위한 표준적인 블랙박스 강화학습 방법론으로 활용될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.