[논문리뷰] Skill2Env: Capability-Oriented Environment Synthesis from Skills for General Agents

링크: 논문 PDF로 바로 열기

저자: Weiyi Xu, Xiaowen Yang, Wen Da, Hang Xu, Canwei Li, Hongjie You, Pusen Dong, Yucheng Zeng, Zhaokai Luo, Mu Chuan

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 다루는 핵심 기술 용어 및 개념은 다음과 같습니다.

• Skill: 특정 유형의 Task를 수행하기 위한 절차적 Instructions 및 선택적 Supporting Resources를 재사용 가능한 형태로 묶어놓은 Package입니다. 이는 Domain-specific Knowledge와 Tool-use Procedures를 포함합니다.
• Executable Environment: Execution Substrate (Tools 및 Runtime Support), Skill, 그리고 초기 Workspace (Task-specific Local Resources)로 구성되어 Agent가 Task를 수행할 수 있도록 설정된 Environment를 의미합니다.
• Task Blueprint: Task 요구사항과 Challenges를 Supporting Facts, Acceptance Criteria, Execution Requirements 및 Information Boundaries에 연결하는 Author-side Contract입니다. 이는 Task Instruction, Execution Substrate, Workspace 및 Rubric-based Evaluator의 구성을 안내합니다.
• Difficulty Patterns: Agent의 Capability Demands를 Operationalize하기 위해 사용되는 재사용 가능한 Task Challenges의 Class입니다. 각 Pattern은 고유한 Difficulty Source를 포착하며, Concrete Environment Structures를 지정하는 데 활용됩니다.
• Iterative Task Hardening: Solver Agent의 Execution Evidence를 활용하여 Task Difficulty를 점진적으로 높이는 Process입니다. 이는 Task Design의 불충분한 Challenge 요소를 식별하고, Difficulty Pattern Instantiations를 강화하거나 확장하여 Blueprint와 Environment를 수정합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Tool Use 및 Multi-step Interaction이 필요한 Task에 대해 Agent의 Post-training을 위한 Scalable하고 Challenging한 Executable Task와 Environment를 구축하는 데 있어 발생하는 근본적인 문제를 해결하고자 합니다. 기존의 Executable Environment 및 Task Synthesis 방법론들은 Skill에 포함된 Domain Knowledge, Operational Procedures, Tool-use Instructions와 Concrete하고 Challenging한 Executable Environment 간의 상당한 Gap을 해소하는 데 한계가 있었습니다. Manually Task와 그 Environment를 구축하고 유지하는 것은 Agent Training에 필요한 Volume과 Diversity를 충족시키기 어렵습니다. Figure 1에서 Baseline 모델들의 Terminal-Bench 2.1 및 SkillsBench 성능은 기존 방식의 한계를 시사하며, Agent의 Capability Demands에 기반한 새로운 Task 및 Environment Synthesis 접근 방식의 필요성을 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Agent Capability Demands를 기반으로 Environment Synthesis를 Guide하는 Capability-oriented Framework인 Skill2Env를 제안합니다. Skill2Env는 Skill Curation, Capability-Oriented Environment Synthesis, 그리고 Iterative Task Hardening의 세 가지 주요 단계로 구성됩니다 [Figure 2].

Figure 2 — Skill2Env 프레임워크 개요

먼저, Skill Curation 단계에서는 ClawHub와 같은 Public Skill Libraries에서 Practical Utility, Runtime Compatibility, Setup Feasibility 기준을 통해 3천 개 이상의 Executable Skill Folders를 선별합니다. 다음으로, Capability-Oriented Environment Synthesis 단계에서는 Environment Understanding, Planning, Skill Usage, Long-horizon Consistency, Error Recovery의 다섯 가지 핵심 Capability Demands를 정의하고, 이를 Difficulty Patterns (총 100개의 재사용 가능한 Pattern으로 초기화됨)으로 구체화합니다. Synthesis Agent는 선택된 Difficulty Patterns와 Skill을 기반으로 Task Objective, Challenges, Environment Facts, Information Boundaries, Acceptance Criteria를 명시하는 Task Blueprint를 작성합니다. 이 Blueprint는 Task Instructions, Execution Substrates, Workspaces, Rubric-based Evaluators의 공동 구축 및 Refinement를 Guide합니다.

마지막으로, Iterative Task Hardening은 Solver Execution Evidence를 활용하여 Task Difficulty를 점진적으로 높입니다. Solver Rollout 후, Diagnosis Agent는 불충분하게 Challenging한 Task Design을 식별하고, 기존 Difficulty Pattern Instantiation을 강화하거나 새로운 호환 Pattern을 도입하여 Blueprint와 Environment를 수정합니다. 이 과정을 반복함으로써 Solver의 Observed Performance에 따라 점점 더 Demanding한 Task가 생성됩니다. Skill2Env Pipeline을 통해 최종적으로 2,963개의 Executable Tasks가 생성되었습니다.

실험 결과, Skill2Env Environment에서 생성된 1.5K개의 High-scoring Trajectories를 Supervised Fine-tuning (SFT)에 사용하여 Agent 성능을 일관되게 개선했음을 입증했습니다. Qwen3.6-35B-A3B Backbone 모델의 경우, 7가지 Agent Benchmark에서 Unweighted Average Score가 36.6에서 45.0으로 8.4 Points 상승하는 결과를 보였습니다 [Table 1]. 특히 SkillsBench에서 +14.3 Points, Terminal-Bench 2.1에서 +13.5 Points의 가장 큰 성능 향상이 관찰되었습니다 [Figure 1]. Iterative Task Hardening의 효과는 DeepSeek-V4-Flash 모델의 Full-credit Rate가 Iteration 0의 48.40%에서 Iteration 2의 15.40%로 감소하고, Mean Assistant Turns가 25.91에서 38.85로 증가하여 Task Difficulty가 크게 증가했음을 보여줍니다 [Figure 5]. 또한, Hardening 단계를 거친 Task Collection이 Training Utility를 향상시켜, Iteration 0에서 2까지 평균 Benchmark Score가 40.58에서 42.87로 2.29 Points 증가했습니다 [Figure 5].

Figure 1 — 주요 벤치마크 성능

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Skill 기반의 Executable Task 및 Environment Synthesis를 위한 Capability-Oriented Framework인 Skill2Env를 제시합니다. Skill2Env는 Reusable Difficulty Patterns를 통해 Agent Capability Demands를 Concrete Task Challenges로 변환하고, Task Blueprint를 활용하여 Task Instruction, Execution Substrate, Workspace, Evaluator 구축을 조율합니다. 또한, Iterative Task Hardening은 Solver의 Execution Evidence를 사용하여 Task Design을 점진적으로 개선하며 더 Demanding한 Capability Requirements를 요구합니다. 이 연구는 Skill2Env 환경에서 생성된 1.5K개의 High-scoring Trajectories를 통한 Supervised Fine-tuning이 다양한 Agent Benchmark에서 일관된 성능 향상을 가져온다는 것을 입증했습니다. Skill2Env는 Skill 및 Task Coverage 확장을 넘어 Agent가 발휘해야 하는 Capabilities를 중심으로 Task Construction을 명시적으로 조직함으로써, Agent Capabilities가 향상됨에 따라 점진적으로 더 Demanding한 Environment를 생성하는 기반을 제공한다는 점에서 학계 및 산업계에 중요한 시사점을 가집니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.