[논문리뷰] E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Wei Fan, Xinjie Shen, Xudong Guo, Jianhong Tu, Yang Su, Yinger Zhang, Lianghao Deng, Fengyu Wang, Baohua Dong, Yangqiu Song, Dayiheng Liu

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Long-Horizon Agentic Task: 수천 번의 상호작용 단계를 거치며 시간이 지남에 따라 변하는 환경 속에서 학습하고 정책을 적응시켜야 하는 지속적인(continuing) 에이전트 과업을 의미합니다.
• Deterministic Negotiation Kernel: 에이전트가 협상할 때 공급자의 가격 책정, 수락/거절 결정을 난수 없이 고정된 로직으로 처리하는 시스템으로, 결과의 재현성을 보장합니다.
• Context Eviction: LLM의 컨텍스트 윈도우 한계를 관리하기 위해, 오래된 대화 기록(Turn group)을 주기적으로 삭제하는 메모리 관리 기법입니다.
• Persistent Agentic Memory: 대화 기록의 eviction과 관계없이 에이전트가 환경 내에 별도로 저장하고 관리하는 장기 기억 시스템입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 에이전트 벤치마크들이 장기적 의존성과 복잡한 시장 역학을 가진 '지속적인' 비즈니스 환경을 제대로 평가하지 못한다는 문제를 해결하고자 합니다. 대부분의 기존 연구는 과업이 종료되는 에피소드 중심이거나, LLM의 확률적 생성에 의존하여 재현성이 부족한 시뮬레이션을 제공하는 한계가 있습니다. 특히 실제 비즈니스 환경에서는 공급자 협상, 주문 이행, 환불 처리 등 실시간 시장 변화에 대응하는 능력이 필수적이나, 현존하는 벤치마크들은 이러한 요소들을 통합적으로 다루지 못합니다. 이에 저자들은 실제 이커머스 데이터를 바탕으로 365일간의 비즈니스 운영을 시뮬레이션하고 모든 시장 요소의 재현성을 확보한 E-Commerce Bench를 제안합니다 [Figure 3].

Figure 3 — E-Commerce Bench 구조

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 E-Commerce Bench를 통해 에이전트가 최대 4개의 온라인 스토어를 운영하며 시장 조사, 공급자 협상, 판매 전략 수립, 현금 흐름 관리를 수행하는 종합적인 비즈니스 환경을 구축했습니다. 제안된 프레임워크는 에이전트 루프, 툴 레이어, 결정론적 경제 엔진, 데이터 레이어의 4단계 아키텍처로 구성됩니다 [Figure 3]. 특히 모든 고객 수요와 공급자 협상 로직을 결정론적(deterministic)으로 설계하여, 모델의 성능 차이가 난수(randomness)가 아닌 오직 에이전트의 정책 품질에 기인하도록 보장합니다. 18개의 frontier 모델을 평가한 결과, GPT-5.6 Sol 모델은 자산을 14배 이상 증식시키며 가장 높은 수익을 기록했으나, 사기 방지(Fraud avoidance) 지표에서는 16위에 그쳐 다차원적 역량의 불균형을 드러냈습니다 [Figure 2]. 오픈 웨이트 모델 중에서는 Qwen3.8-Max-Preview가 가장 뛰어난 성능을 보였으며, 특히 장기적인 가격 협상 능력 면에서 타 모델 대비 우수한 학습 효율성을 입증했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 단순히 최종 자산 수치만을 평가하는 것이 아니라, negotiation quality, fraud avoidance, operational efficiency 등 다차원적 역량을 종합적으로 평가할 수 있는 비즈니스 벤치마크의 중요성을 강조합니다. 본 연구는 모델의 리더보드가 단순한 총점 위주에서 전문화된 역량 프로필(capability profile)로 변화해야 함을 시사합니다. 또한, 장기 horizon에서의 반복적 학습과 전략 최적화 능력이 현재의 최첨단 모델들 사이에서도 큰 격차가 있음을 명확히 규명했습니다. 이는 향후 에이전트의 비즈니스 수행 능력을 향상시키기 위한 모델 아키텍처 및 훈련 전략 수립에 있어 중요한 가이드라인을 제공합니다.

Figure 4 — 에이전트 루프 레이어

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.