[논문리뷰] LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Xiaoxuan Peng, Kaiqi Zhang, Xinyu Lu, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• LiteCoder-Terminal-Gen: 도메인 사양으로부터 실행 가능하고 검증 가능한 터미널 환경과 전문가 궤적을 자율적으로 생성하는 Zero-dependency 합성 파이프라인입니다.
• Harbor: 터미널 작업을 명세하고 에이전트의 상호작용 궤적을 수집하기 위해 사용되는 표준화된 인터페이스 포맷입니다.
• DMPO (Direct Multi-turn Preference Optimization): 다중 턴 상호작용에서 상태-행동 점유 측정치(State-action occupancy measure)를 고려하여 에이전트의 선호도를 최적화하는 학습 기법입니다.
• Pass@k: 에이전트가 k번의 시도 내에 작업을 성공적으로 완료할 확률을 측정하는 핵심 평가지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 터미널 에이전트 학습이 외부 리포지토리에 의존하는 방식의 한계로 인해 데이터 다양성, 환경 제어력, 특정 능력 결함 해결에 어려움을 겪는 문제를 해결합니다. 기존 방식은 실제 GitHub 등에서 데이터를 스크래핑하여 수집하므로, 에이전트에게 필요한 특정 시나리오를 온디맨드로 생성하거나 미세 조정하는 데 제약이 따릅니다. 이를 위해 저자들은 도메인 지식으로부터 직접 실행 가능한 터미널 환경을 합성하는 새로운 패러다임을 제안합니다 [Figure 1].

Figure 1 — 도메인 기반 작업 생성 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 LiteCoder-Terminal-Gen을 통해 도메인 사양에서 작업 초안을 생성하고, 5단계 파이프라인을 거쳐 실행 환경, 솔루션, 검증기(Verifier)를 순차적으로 구축하는 프레임워크를 제안합니다 [Figure 2]. 이 과정을 통해 11,255개의 전문가 궤적을 포함하는 LiteCoder-Terminal-SFT 데이터셋과 602개의 RL 환경 데이터를 생성하였습니다. 실험 결과, 제안된 모델은 Terminal Bench 1.0, 2.0, Pro에서 베이스 모델 대비 일관된 성능 향상을 보였으며, 32B 모델의 경우 Terminal Bench Pro에서 34.00%의 Pass@1을 달성했습니다. 특히, DMPO를 적용하여 LiteCoder-Terminal-RL로 학습한 에이전트는 복잡한 작업 환경에서 추가적인 성능 이득을 확보했습니다 [Table 1, Table 2]. 이러한 결과는 합성된 환경이 데이터 효율적이며 에이전트의 장기적인 문제 해결 능력을 실질적으로 향상시킴을 입증합니다.

Figure 2 — 실행 환경 합성 5단계 파이프라인

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Zero-dependency 환경 합성 기술을 통해 터미널 에이전트 학습을 위한 고품질의 확장 가능한 데이터 파이프라인을 제시합니다. 제안된 모델은 복잡한 커맨드 라인 워크플로우를 처리하는 능력을 입증하였으며, 특히 데이터 부족 문제를 해결함으로써 학계 및 산업계에서 보다 범용적인 에이전트 학습 기회를 제공합니다. 향후 연구는 더욱 다양한 운영체제와 환경으로의 확장성을 확보하는 방향으로 진행될 것으로 예상됩니다.

Figure 3 — 데이터셋 도메인 분포

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.