[논문리뷰] Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yihao Hu, Zhihao Wen, Yitong Lin, Siyuan Lu, Pan Wang, Wei Wu, Jiang-Ming Yang, Tao Lin

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Compositional Interaction: 관찰, 사용자 업데이트, 혹은 상태 변화가 후속 의사결정을 결정하는 다단계 상호작용 워크플로우를 지칭합니다.
• Compositional Coverage: 모델이 중요한 관찰-행동(observation–action) 의존성을 학습할 수 있도록 다양한 다단계 구조를 충분히 포함하는 데이터를 의미합니다.
• Decision Grounding: 지도 학습 시 타겟 액션이 에이전트가 의사결정 시점에 관찰할 수 있는 히스토리 정보에 의해 정당화(supported)되어야 한다는 원칙입니다.
• Structural-Support Learning: 각 데이터의 구조적 희소성을 기반으로 학습 경험을 할당하고, parent-normalized 방식을 통해 학습 가중치를 균형 있게 조정하는 방법론입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 성공적인 도구 사용(tool-use) 궤적(trajectory)이 반드시 효과적인 학습 자료가 되는 것은 아니라는 문제 제기에서 출발합니다. 기존의 성공 여부 중심 필터링 방식은 에이전트가 의사결정 당시 관찰할 수 있는 정보와 무관하게 액션을 모방하게 만들며, 특히 복잡한 다단계 의존성을 충분히 다루지 못한다는 한계가 있습니다 [Figure 1]. 저자들은 이러한 한계를 극복하기 위해 단순히 성공한 데이터를 수집하는 것이 아니라, 에이전트의 관찰 가능한 히스토리 내에서 정당화되는 상호작용을 체계적으로 구성해야 함을 강조합니다.

Figure 1 — 의사결정 근거 기반 상호작용 예시

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Trajectory2Gym 프레임워크를 통해 Compositional Interaction Synthesis, Grounded Supervision, 그리고 Structural-support Learning의 3단계 파이프라인을 제안합니다 [Figure 2]. 첫째, Compositional Interaction Synthesis는 정보 획득 및 복구와 같은 희소한 구조를 중심으로 네이티브 환경에서 실행 가능한 상호작용을 구축합니다. 둘째, Grounded Supervision은 실행 로그 중 에이전트가 실제로 볼 수 있는 정보에 기반하여 정당화되는 액션만을 지도 학습 타겟으로 마스킹합니다. 마지막으로, Structural-support Learning은 각 구조적 경로의 지원 깊이를 최적화하고 parent-normalized SFT를 적용하여 학습 효율을 극대화합니다.

Figure 2 — Trajectory2Gym 전체 아키텍처

실험 결과, 제안된 방법론은 Qwen3 기반의 5가지 모델 스케일(1.7B ~ 30B) 모두에서 Tau1, Tau2, BFCL 성능을 일관되게 향상시켰습니다. 특히 Tau2와 같은 다단계 상태 의존형 작업에서 성능 개선이 두드러지며, 3개 벤치마크 평균 성능이 기존 대비 16.9%에서 29.8%까지 대폭 상승하는 정량적 우위를 보였습니다. 또한, 4B 모델만으로도 기존의 30B급 공공 체크포인트의 성능을 상회하는 효율성을 증명하였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 도구 사용 에이전트의 성능 향상을 위해 필요한 것은 궤적의 단순한 양적 축적이 아닌, 의존성이 명확히 표현되고 의사결정이 근거(grounding)를 갖춘 질 높은 데이터 구성임을 입증했습니다. Trajectory2Gym은 강화 학습 없이도 효율적인 SFT만으로도 모델의 도구 사용 능력을 극대화할 수 있는 새로운 패러다임을 제시합니다. 이 연구는 향후 범용적인 Tool-use agent 개발을 위한 데이터 설계 전략에 있어 매우 중요한 학계 및 산업계적 이정표가 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.