[논문리뷰] CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies

링크: 논문 PDF로 바로 열기

메타데이터

저자: Issa Sugiura, Daichi Hattori, Kazuo Araragi, Keita Ogawa, Shota Onose, Taro Makino, Teppei Usuki, Takashi Ishida

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CoffeeBench: 6개의 에이전트(농부 2, 로스터 2, 소매상 2)가 커피 공급망을 운영하며 수익을 극대화하는 Long-Horizon 경제 시뮬레이션 벤치마크.
• Idle-drift: 에이전트가 논리적이고 일관된 추론 과정을 유지함에도 불구하고, 실제 행동(Action)을 취하지 않고 wait_for_next_day()만 반복하여 운영이 정체되는 실패 모드.
• ReAct Framework: 에이전트가 생각(Thought), 행동(Action), 관찰(Observation)의 과정을 반복하며 외부 환경과 상호작용하게 하는 표준 프레임워크.
• Net Income: 커피 공급망에서 수익에서 COGS(매출원가), OpEx(운영비용), 금융 비용 등을 차감한 에이전트의 핵심 성과 지표(KPI).

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 LLM 에이전트 벤치마크가 단일 에이전트나 동질적인 환경에 국한되어, 현실적인 경제 시스템의 복잡성을 반영하지 못하는 한계를 해결하고자 한다. 실제 경제 시스템은 상호 의존적인 Heterogeneous 에이전트들이 통신, 협상, 거래를 지속하며 자신만의 목표를 추구하는 복잡한 Multi-agent 환경이다. 따라서 저자들은 에이전트가 긴 시간 동안 전략적 계획과 Long-horizon 의사결정을 수행할 수 있는지 평가하기 위한 새로운 프레임워크인 CoffeeBench를 제안한다 [Figure 1].

Figure 1 — CoffeeBench 전체 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

CoffeeBench는 90일간의 시뮬레이션을 통해 농부, 로스터, 소매상으로 구성된 공급망 내에서 에이전트의 성과를 측정한다. 에이전트는 ReAct 프레임워크를 기반으로 통신, 거래, 생산, 가격 책정 등 다양한 툴을 사용하여 자신의 Net Income을 극대화한다 [Figure 2]. 주요 실험 결과, GPT-5.5와 Claude Opus 4.7이 가장 우수한 수익성을 보였으며, 이는 이들이 다른 에이전트들과 더 활발하게 통신하고 지속적으로 시장에 참여했기 때문이다 [Table 2]. 반면, Claude Haiku 4.5는 Idle-drift라는 독특한 실패 모드를 보이며 수익이 음수(-630달러)로 나타났다. 모델들의 행동 데이터를 분석한 결과, 상위 모델들은 거래 실행 툴에 더 집중하였으나, 모든 모델에서 직접적인 경쟁자 간의 적극적인 협력이나 담합과 같은 고차원적 전략은 관찰되지 않았다 [Figure 3, Figure 4].

Figure 2 — 비동기 이벤트 중심 시뮬레이션 타임라인

4. Conclusion & Impact (결론 및 시사점)

본 연구는 CoffeeBench를 통해 LLM 에이전트가 장기적이고 복잡한 경제적 상호작용 속에서 어떻게 행동하는지를 실증적으로 규명하였다. 실험 결과, 현재의 Frontier 모델들도 일정한 경제적 성과를 달성할 수 있지만, 특정 조건 하에서 의사결정이 정체되는 Idle-drift와 같은 문제점이 확인되었다. 이 벤치마크는 학계와 산업계가 LLM 에이전트의 전략적 계획 능력과 신뢰성을 평가하는 데 중요한 도구가 될 것이며, 향후 더 정교한 경제적 에이전트 모델 연구를 위한 기반을 제공할 것으로 기대된다.

Figure 3 — 90일간의 경제적 및 행동적 궤적

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.