[논문리뷰] Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research

링크: 논문 PDF로 바로 열기

저자: Houde Qian, Zheng Jiang, Wenyi Li, Chenxi Xu, Xinjie Lin, Yuzhao Peng, Ruoyu Han, Youjie Zheng, Kaisen Yang, Qinhuai Na, You Fu, Calvin Xiao

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Quant-Arena: LLM Agent가 real-world A-share market data를 사용하여 End-to-End quantitative research를 수행할 수 있도록 설계된 벤치마크 및 리더보드 플랫폼입니다.
• RankIC: 주식 스코어와 차기 수익률 간의 순위 상관계수를 의미하며, 전략의 예측 능력을 측정하는 핵심 지표입니다.
• ARR (Annualized Return): 포트폴리오의 연간 수익률을 의미하며, 전략의 수익성을 평가하는 주요 벤치마크 지표입니다.
• Cash-account Evaluator: 제안된 전략의 거래 제약 조건과 시장 충격(Market Impact)을 포함한 거래 비용을 시뮬레이션하여 실제 포트폴리오 수익을 계산하는 평가 도구입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 quantitative research 벤치마크들이 formula나 code, 혹은 단일 의사결정만을 평가하여 LLM이 실제 market data 상에서 장기적인 수익성을 갖춘 전략을 생성할 수 있는지 검증하지 못한다는 한계를 해결합니다. 기존 연구들은 실험적 환경에서의 성능에 치중하거나 실제 거래 비용 및 시장 영향을 고려하지 않는 경우가 많습니다. 저자들은 이러한 격차를 극복하기 위해, 모델이 raw market observations로부터 직접 feature를 구성하고 전략을 수립한 뒤, 완전히 독립된 2024년 데이터로 평가받는 End-to-End 프로세스를 구축하였습니다 [Figure 2].

Figure 2 — Quant-Arena 전체 파이프라인

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 LLM Agent가 2022-2023년의 historical data를 활용해 전략을 개발하고, 2024년 sealed data에서 최종 성과를 측정하는 엄격한 Research and Assessment Protocol을 제안합니다. 이 플랫폼은 정해진 연구 예산 내에서 모델이 후보 전략을 수정하고 최종적으로 한 개의 frozen strategy를 제출하도록 강제합니다 [Figure 2]. 주요 실험 결과, 평가된 9개 frontier 모델 중 오직 GPT-6 Sol (medium effort)만이 2024년 시장 지수 수익률을 상회하였으며, 대부분의 모델은 높은 예측 능력(RankIC)을 보여도 실제 포트폴리오 수익으로 전환하는 데 실패하는 경향을 보였습니다 [Table 2]. 특히 GPT-6 Astra의 경우, 특정 시장 상황에서 현금을 보유하는 전략을 학습하여 최대 낙폭(MDD)을 효과적으로 낮추는 성능을 보였으나, 시장 평균 수익률을 능가하지는 못했습니다 [Figure 4]. 대조적으로, 전문적인 Kepler-1 전략은 77.56점의 높은 점수를 기록하며 모델들과 확연한 수익률 차이를 보였습니다 [Figure 7].

Figure 4 — Astra의 자산 운용 결과

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 LLM이 단순한 코딩 능력을 넘어, 복잡한 시장 데이터에서 유의미한 투자 신호를 포착하고 이를 실행 가능한 포트폴리오로 전환하는 능력을 평가하는 기준을 제시합니다. 실험 결과, 모델들이 높은 RankIC를 확보하더라도 실제 투자 수익으로 이어지지 않는 '실행의 격차'가 존재함을 확인하였습니다. 이 벤치마크는 학계와 산업계 모두에게 LLM이 단순한 alpha mining 도구를 넘어 자율적인 투자 의사결정 에이전트로 진화하기 위해 필요한 연구 지향점을 제공합니다.

Figure 3 — 데실별 다음 날 수익률

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.