[논문리뷰] Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zongxia Li, Zhongzhi Li, Yucheng Shi, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Long-Horizon Terminal Tasks: 수백 개의 에피소드와 수십 분에서 수 시간의 실행 시간이 소요되며, 지속적인 계획 수립, 장기 문맥 관리 및 반복적인 디버깅이 필수적인 작업.
• Dense Reward-Based Grading: 결과물에 대해서만 성공/실패(binary)를 판단하는 대신, 전체 작업을 세분화된 하위 작업(subtask)으로 나누고 각 단계마다 정량적 보상을 부여하는 평가 방식.
• Terminus-2 Agent Harness: 에이전트가 터미널 환경과 상호작용하며 도구를 사용하고 작업을 수행할 수 있도록 설계된 공통 평가 프레임워크.
• False Finish: 에이전트가 작업이 완료되지 않았음에도 불구하고, 스스로를 완료된 것으로 판단하여 조기에 종료하는 현상.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 에이전트 벤치마크가 지나치게 단기적인 작업에 치중되어 있으며, 평가 방식이 최종 결과에만 의존한다는 한계를 해결하고자 한다. 대다수의 기존 연구는 수 분 내에 끝나는 단순한 과제를 대상으로 하며, 이로 인해 에이전트의 중간 과정이나 부분적인 성공을 포착하지 못하는 희소한 보상(sparse reward) 문제를 야기한다. 이는 에이전트가 실제 현업에서 요구되는 수 시간 단위의 복잡한 워크플로우를 어떻게 수행하고, 어느 지점에서 실패하는지에 대한 심층적인 분석을 방해한다. 따라서 저자들은 장기 계획 능력과 실질적인 문제 해결 과정을 평가할 수 있는 새로운 벤치마크 환경의 필요성을 제기한다. [Figure 1]은 이러한 한계를 극복하기 위해 설계된 장기 호라이즌 작업의 구조와 중간 보상 체계를 보여준다.

Figure 1 — 장기 작업 및 중간 보상 구조

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 9개 카테고리, 46개의 실제적이고 복잡한 터미널 과제를 포함하는 Long-Horizon-Terminal-Bench를 제안한다. 제안하는 방법론의 핵심은 과제를 의미 있는 하위 작업들로 분해하고, 각 단계마다 결정론적인 Grader를 통해 중간 보상을 제공하는 것이다. 15개의 최신 Frontier Model을 평가한 결과, 에이전트들은 작업당 평균 9.9M tokens, 231 episodes, 85.3분의 실행 시간을 소모하며 매우 높은 난이도를 보였다. 주요 실험 결과, 가장 뛰어난 성능을 보인 GPT-5.5 모델조차 0.95 보상 임계값 기준 15.2%의 Pass rate를 기록하는 데 그쳤으며, 전체 모델 평균 Pass rate는 4.3%에 불과하였다. [Table 1]은 각 모델별 토큰 사용량, 에피소드 수, 실행 시간 및 평균 비용을 요약하여 보여준다. 또한, 0.95 이상의 보상을 받은 사례보다 0.75~0.95 사이의 부분 성공(near-misses) 사례가 더 빈번하게 발생함을 확인했으며, 이는 밀도 높은 보상 체계가 기존의 이분법적 평가로는 숨겨졌을 에이전트의 실질적인 진전을 포착할 수 있음을 입증한다. [Figure 4]는 보상 분포를 통해 이러한 부분적 진전의 중요성을 가시적으로 보여준다.

Figure 4 — 모델별 최종 보상 분포

4. Conclusion & Impact (결론 및 시사점)

본 논문은 장기 호라이즌 작업에서 에이전트의 성능을 정확히 측정하기 위해서는 단순 결과 중심 평가에서 벗어나, 밀도 있는 단계별 보상 체계와 분석이 필수적임을 결론짓는다. 연구 결과, 현재의 최첨단 모델들조차 복잡한 워크플로우의 최종 완성 단계에서 겪는 False Finish와 같은 자기 검증 실패가 주요한 병목 현상으로 작용함을 확인하였다. 이러한 발견은 향후 에이전트 연구가 단순한 개별 단계의 추론 능력 향상을 넘어, 장기적인 시간 예산 관리와 정확한 종료 판단 능력을 확보하는 방향으로 나아가야 함을 시사한다. 이 벤치마크는 더욱 견고하고 신뢰할 수 있는 자율 에이전트 개발을 위한 중요한 기준점을 제시한다.

Figure 6 — 미완료 작업의 실패 원인 분석

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.