[논문리뷰] Harness Scaling for Generalizable Agentic Reinforcement Learning

링크: 논문 PDF로 바로 열기

The paper "Harness Scaling for Generalizable Agentic Reinforcement Learning" by Fei Bai, Huatong Song, Chuan Hao, et al. introduces a new scaling dimension for agentic Reinforcement Learning (RL).

I will now extract the required information.

Authors: Fei Bai, Huatong Song, Chuan Hao, Ran Tao, Jian Yang, Bryan Dai, Wayne Xin Zhao, Ji-Rong Wen

Keywords: From the abstract and introduction, I can identify: Agentic Reinforcement Learning, Harness Scaling, Generalization, Factorized Harness Space, Orthogonal Design, Cross-Harness Training, Black-Box Harness. I need 5-8 keywords. So, I will choose 7.

Let's look for figures and tables.

• Figure 1: Overview of Harness Scaling. This seems important as it shows the entire framework. src="2610.29458v1/main_Harness_Scaling_1.png" -> https://arxiv.org/html/2610.29458v1/main_Harness_Scaling_1.png
• Table 1: Pass@1 performance across three benchmarks. This is a key results table.
• Figure 2: Evaluation curves under in-space harness configurations on ClawGym-Bench. This shows quantitative results graphically. src="2610.29458v1/main_Harness_Scaling_2.png" -> https://arxiv.org/html/2610.29458v1/main_Harness_Scaling_2.png
• Table 2: Pass@1 performance on Claude Code as an unseen external black-box harness. Another key results table.
• Table 3: Ablation of structured selection and assignment. Important for ablation studies.
• Figure 3: Ablation studies of key design choices in Harness Scaling. This summarizes ablation results. src="2610.29458v1/main_Harness_Scaling_3.png" -> https://arxiv.org/html/2610.29458v1/main_Harness_Scaling_3.png
• Figure 4: Behavioral analysis comparing Single-Harness RL and Harness Scaling. This shows analysis results. src="2610.29458v1/main_Harness_Scaling_4.png" -> https://arxiv.org/html/2610.29458v1/main_Harness_Scaling_4.png
• Table 4: Base-harness vs. cross-harness performance. More analysis results.
• Table 5: Harness component realizations. This details the factorized harness space.
• Table 6: The 18 configurations in the structured training harness set. Details of the training set.
• Table 7: Main training hyperparameters. Implementation details.
• Table 8: The 18 held-out configurations used for in-space evaluation. Evaluation details.
• Table 9: Out-of-space performance on OpenClaw. Additional results.
• Table 10: Effect of per-task harness diversity. More ablation results.
• Table 11: Sensitivity of Single-Harness RL to the fixed training harness. More ablation results.

I need to select up to 3 most important Figures/Tables.

1. Figure 1: Overview of Harness Scaling. This is the overall architecture/framework.
2. Table 1: Pass@1 performance across three benchmarks. This shows the main quantitative results.
3. Figure 3: Ablation studies of key design choices. This shows how key components contribute to the performance.

I will use Figure 1, Table 1, and Figure 3 for Part 2 and reference them in Part 1. I need to make sure to use [Table N] for tables and [Figure N] for figures in the text.

Now I will write Part 1 following all constraints.

• Key Terms & Definitions: I'll pick Agent Harness, Harness Scaling, Factorized Harness Space, Orthogonal Design, In-Space Combinatorial Generalization, Out-of-Space Generalization.
• Motivation: Focus on the limitations of single fixed harness training.
• Methodology & Results: Explain factorized harness space, structured selection (orthogonal design), cross-harness training, and key quantitative improvements (Pass@1, consistency across models/algorithms, transfer to black-box).
• Conclusion & Impact: Summarize findings and broader implications.

Let's start drafting.

Part 1: 요약 본문

저자: Fei Bai, Huatong Song, Chuan Hao, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 다루는 핵심 용어 및 개념은 다음과 같습니다:

• Agent Harness: 대규모 언어 모델(LLM)이 도구 사용, Context 관리, 장기적인 상호작용을 조율하는 방식을 형성하는 실행 계층(execution layer)입니다.
• Harness Scaling: Agentic Reinforcement Learning (RL)에서 단일 Harness를 넘어 다양한 실행 Configuration으로 Training을 확장하여 Generalization을 향상시키는 새로운 Scaling Dimension입니다.
• Factorized Harness Space: System Prompt, Tool Interface, Observation, Context Management, Workflow의 다섯 가지 Component로 Harness를 분해하고, 각 Component의 다양한 Realization 조합으로 구성된 Harness Configuration의 공간입니다.
• Orthogonal Design: Factorized Harness Space 내에서 Component Realization 및 이들의 Pairwise Combination의 Balance를 유지하면서 Training을 위한 Compact Subset을 구성하는 통계적 방법론입니다.
• In-Space Combinatorial Generalization: Training 시 관찰되지 않은 Factorized Harness Space 내의 새로운 Combination Configuration에 대한 Policy의 Effective한 성능 유지 능력을 의미합니다.
• Out-of-Space Generalization: Training 시 구성된 Factorized Harness Space에 포함되지 않은 복잡한 Real-world Black-box Harness로 Policy가 효과적으로 Transfer되는 능력을 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 Agentic Reinforcement Learning (RL) 접근 방식이 주로 단일의 고정된 Harness Configuration을 통해 Policy를 Optimization하는 한계점을 해결하고자 합니다. 이러한 단일 Harness Training은 특정 실행 Configuration에 대한 Specialization을 유도하고, 다양한 Harness Configuration 간의 Transferability를 약화시킬 수 있습니다. Agents의 성능은 Harness 디자인뿐만 아니라 Policy가 이를 얼마나 효과적으로 활용하는지에 달려있으므로, Policy를 Harness를 통해 직접 강화 학습하는 것이 중요합니다. 하지만 현재의 Task 또는 Environment Scaling과는 달리, Policy가 동일한 Task 및 Environment와 상호작용하는 "How"에 대한 다양성을 도입하는 Harness Scaling 연구는 부족했습니다. 이 문제를 해결하기 위해 저자들은 Harness Variation을 Model하고 Training을 위한 Compact Configuration Set을 선택하는 새로운 접근 방식의 필요성을 제기합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Agentic RL의 Generalization을 향상시키기 위해 Harness Scaling이라는 방법론을 제안합니다 [Figure 1]. 이 방법론은 크게 세 가지 단계로 구성됩니다: Factorized Harness Space 구성, Structured Harness Selection, 그리고 Cross-Harness Policy Training입니다. Harness는 System Prompt (S), Tool Interface (T), Observation (O), Context Management (C), Workflow (W)의 다섯 가지 Component로 Factorize됩니다. 각 Component는 여러 Realization을 가지며, 이들의 조합으로 H=S×T×O×C×W와 같은 Factorized Harness Space가 정의됩니다. Training을 위한 Harness Set H_tr은 Strength-2 Orthogonal Design을 사용하여 구성되며, 이는 Compact하면서도 Individual Component Realization과 Pairwise Combination의 Balanced Coverage를 보장합니다.

Figure 1 — Harness Scaling 개요

Cross-Harness Training 시, 각 Task는 Structure적으로 유사한 K개의 Harness Configuration 그룹과 연결되어 Policy Optimization이 이루어집니다. 이는 Controlled Local Variation을 제공하면서 Training Space 전반에 걸쳐 Broad Coverage를 유지합니다. 실험에서는 Qwen3-4B-Instruct 및 Qwen3-30B-A3B-Instruct 모델과 GRPO 및 PPO 알고리즘을 사용하여 ClawGym-Task 벤치마크에서 평가가 수행되었습니다. 주요 결과는 다음과 같습니다:

• Combinatorial Generalization to Unseen Harnesses: Harness Scaling은 Training 시 접하지 못한 Held-out Harness Configuration에 대해 Single-Harness RL 대비 일관되게 우수한 성능을 보였습니다. ClawGym-Bench에서 Qwen3-4B-Instruct 모델의 경우 In-Space Pass@1 점수가 GRPO 사용 시 29.81점에서 39.04점으로, PPO 사용 시 33.91점에서 36.93점으로 향상되었습니다 [Table 1, Figure 2]. Qwen3-30B-A3B-Instruct 모델에서도 GRPO 사용 시 37.29점에서 42.78점으로, PPO 사용 시 36.31점에서 41.89점으로 개선을 나타냈습니다 [Table 1, Figure 2].
• Transfer to External Black-Box Harnesses: Harness Scaling은 외부 Black-Box Harness인 Claude Code에 대해서도 효과적인 Transfer를 보여주었습니다. Qwen3-4B-Instruct 모델은 평균 Pass@1 점수 37.22점을 달성하여 Black-Box SFT (35.08점) 및 Black-Box RL (33.38점)을 능가했습니다 [Table 2]. Qwen3-30B-A3B-Instruct 모델에서는 평균 Pass@1 점수 41.20점으로 Black-Box SFT (38.08점) 및 Black-Box RL (36.28점)보다 높은 성능을 기록했습니다 [Table 2]. 이는 Structured White-Box Harness Variation을 통한 Training이 Single Complex Black-Box Harness를 통한 직접 Training보다 강력한 Cross-Harness Transfer를 유도할 수 있음을 시사합니다.
• Ablation Studies: Ablation 연구 결과, Harness Selection 방식이 Generalization 성능에 큰 영향을 미치며 [Figure 3(a)-(b)], 무작위로 선택된 18개 Harness Set이나 전체 243개 Harness를 사용한 Training보다 Structured 18-Harness Set이 더 우수했습니다. 또한, 각 Task에 K=2개의 Harness를 할당하는 것이 가장 좋은 성능을 보였고 [Figure 3(c)-(d)], Locality-Aware Assignment 전략이 Global Coverage와 상호 보완적으로 작용하여 성능을 더욱 향상시킴을 확인했습니다 [Table 3, cite: 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 단일 고정 Harness에 대한 Policy Optimization의 한계를 극복하기 위해 Agentic Reinforcement Learning에서 Harness Scaling을 새로운 Scaling Dimension으로 제안합니다. 저자들은 Factorized Configuration Space를 통해 Harness Diversity를 Formalize하고, Structured Harness Selection 및 Cross-Harness Policy Training을 통합한 Framework를 개발했습니다. 실험 결과, Harness Scaling은 다양한 벤치마크, 모델 규모 및 RL 알고리즘 전반에 걸쳐 Unseen White-Box Configuration에 대한 Generalization을 현저히 개선하고, 복잡한 External Black-Box Harness로도 효과적으로 Transfer됨을 입증했습니다. 이는 Scaling의 이점이 단순히 Diversity의 양뿐만 아니라 Harness Diversity가 Training에 어떻게 조직되고 통합되는지에 달려있음을 강조합니다. 궁극적으로 이 연구는 Agentic RL Scaling의 범위를 Agent가 무엇을 해결하고 어디에서 작동하는지를 넘어, "How" 상호작용하고 실행하는지로 확장하여 다양한 실행 시스템 전반의 Generalization을 개선하는 보완적인 Dimension으로 Harness Variation의 중요성을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.