[논문리뷰] FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance

링크: 논문 PDF로 바로 열기

저자: Yupeng Cao, Xueqing Peng, Lingfei Qian, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Silent Failure: 실행 중 오류(crash)는 나지 않지만, 결과 report가 정답처럼 그럴듯해 보이면서 실제로는 틀린 결과물입니다. 논문은 원인을 세 가지로 봅니다. 사용자가 요청하지 않은 strategy, 검증되지 않은 data, 미래 정보를 쓴(look-ahead) backtest입니다.
• Hidden Strategy (Belief b): Simulated user만 알고 있는 투자 strategy입니다. 6개 component(stock selection, market timing, portfolio construction, risk control, execution, transaction cost)로 구성된 compositional grammar에서 sampling되며, parameter 값을 정하기 전 기준으로 약 3.8×10⁶개의 서로 다른 strategy가 존재합니다.
• Disclosure Policy: Simulated user가 처음에는 모호한 요청만 하고, agent가 질문하거나 제안한 항목만 공개하는 규칙입니다. 따라서 requirement elicitation 능력 자체가 평가 대상이 됩니다.
• Veto & Acceptance (AC): 45개 평가 dimension 중 15개가 veto입니다. 사용자가 만족(satisfied)하고 veto가 하나도 실패하지 않아야 session이 accept됩니다. 점수는 Score = Q · pass로 계산합니다.
• Pre-veto Quality (Q): 5개 scored category(data, strategy, backtest, assessment, user experience)를 같은 가중치로 평균한 0–100 점수입니다. Veto로 사라지는 partial credit을 보존하는 역할을 합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 다루는 핵심 문제는, 기존 financial agent benchmark들이 intent, data, timeline 중 적어도 하나를 고정(closed)해 두기 때문에 실제 금융 업무에서 생기는 silent failure를 "측정"하지 못하고 "제거"해 버린다는 점입니다.

기존 benchmark의 한계는 세 가지로 정리됩니다.

• Intent를 닫는 경우: 대부분 task를 처음부터 완전히 명시합니다. 사용자가 원하지 않은 strategy를 구현하는 실패가 드러나지 않습니다.
• Data를 닫는 경우: FinBen 등은 curated data를 제공합니다. Agent가 데이터를 직접 확보하지 못하는 실패가 드러나지 않습니다.
• Timeline을 닫는 경우: InvestorBench 같은 trading benchmark는 자체 환경에서 point-in-time을 강제합니다. Agent가 스스로 look-ahead를 피하는지 검증할 수 없습니다.

τ-bench류의 simulated-user benchmark는 intent를 숨기지만 closed database와 target state 기반 grading을 씁니다. 또 realized return 기반 평가는 bias가 있고, agent가 사용자가 원한 것을 만들었는지에 대해서는 거의 알려주지 않습니다. 저자들은 세 축을 모두 열어 둔 평가만이 agent가 실제 사용자를 위해 일할 준비가 되었는지 판별할 수 있다고 주장합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 FinCosmos를 제안합니다. 이는 Strategy Generator, User Simulator, Evaluator 세 component로 구성된 open-world, reference-free 평가 paradigm입니다.

방법론

• Task 정의: Task는 τ = (persona p, belief b, test conditions c)입니다. c에는 data cutoff t_cut, data 접근 채널, 최대 turn 수 T, turn당 시간 제한 Δ가 포함됩니다.
• User Simulator: 3개 persona(retail investor, generalist analyst, biotech specialist)를 연기합니다. "point-in-time", "cutoff" 같은 평가 용어는 쓰지 않습니다.
• 데이터 확보: Agent에게는 data가 전혀 주어지지 않습니다. Web과 Financial Modeling Prep MCP(247개 API)를 통해 직접 data를 확보하고 backtest를 구축해야 합니다.
• Program 기반 검증: Evaluator는 다음을 program으로 검증합니다.
  • Data provenance: 모든 series를 URL/API source까지 추적할 수 있어야 합니다.
  • Point-in-time correctness: cutoff 이후 row가 하나라도 있으면 veto 실패입니다.
  • Independent recomputation: 제출된 trade log로 returns를 재계산합니다. 허용 오차는 return/drawdown 0.02, Sharpe 0.5입니다.
• LLM judge의 역할: semantic 판단에만 쓰이며, program 점수가 상한으로 작용합니다(s = min(LLM, Program)).
• Leak-free feedback: 제공되는 feedback은 hidden strategy를 노출하지 않으므로, agent의 반복 학습을 지원합니다.

주요 결과 (Claude Code, Codex, Gemini CLI, Kimi Code, bare model × 10 tasks × 3 sessions = 150 sessions)

• Acceptance rate: 모든 agent가 0%였습니다(pass^k = 0). Pre-veto quality는 20.2–37.2 범위였습니다. 최고점은 Codex 37.2와 Claude Code 37.1로 통계적으로 구분되지 않았습니다(p=0.99). Gemini CLI(22.2)와 Kimi Code(22.3)는 tool이 없는 bare model(20.2)과 유의한 차이가 없었습니다.
• Silent failure: 사용자가 만족한 35개 session(23%) 모두가 program check에서 실패했습니다. LLM-judged veto만 적용했다면 17개(11%)가 accept되었을 것입니다. 또 grader 선택에 따라 agent 순위가 뒤바뀝니다. 예를 들어 Gemini CLI는 sign-off 기준으로는 공동 1위지만, LLM-judged veto를 통과한 session은 0개입니다.
• Workflow breakdown: 120개 agent session을 workflow 순서대로 보면 다음과 같습니다.
  • 사용자의 strategy를 제대로 전달: 25개
  • 그중 data가 cutoff 이내: 15개
  • 그중 look-ahead 없음: 14개
  • 그중 reported return 재현 가능: 0개
• Elicitation: Agent는 처음에 듣지 못한 세부사항 중 54–64%만 질문했습니다. 끝내 언급되지 않은 세부사항은 66–83%가 hidden strategy와 불일치했습니다.
• 신뢰성 검증: 전문가들은 실패 원인의 88.33%를 agent 탓으로 판정했습니다(simulator 5%, evaluator 7%). LLM judge와 전문가의 일치도는 κ=0.87로, 전문가 간 일치도 κ=0.93에 근접했습니다.
• Learning from feedback: Persistent memory를 갖춘 Claude + Memory agent는 첫 시도에서 하나도 통과하지 못했습니다. 이후 task당 median 34.5 sessions(총 506) 만에 10개 task를 모두 통과했습니다. 마지막까지 실패한 veto는 6/10 task에서 strategy ambiguity(2.7)였습니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문은 현재의 coding agent 중 금융 workflow를 end-to-end로 완수하는 agent가 없다는 점을 보여줍니다. 특히 실패는 workflow의 양 끝, 즉 사용자 strategy 파악과 verifiable result 전달에 집중됩니다. User sign-off나 LLM judge만으로 grading하면 silent failure가 성공으로 집계되므로, program 기반의 deliverable 검증이 필수적입니다.

시사점

• 학계: Grammar 기반 task 생성으로 benchmark saturation과 contamination에 대응합니다. Reference-free 평가를 통해 open-world agent evaluation의 새 기준을 제시합니다.
• 산업계: 금융처럼 결과물이 실제 자본 배분으로 이어지는 영역에서는 "그럴듯한 report"가 가장 비싼 실패라는 점을 실증합니다.

Limitations

• Task가 10개로 적고, long-only US equity와 fixed-cost model에 한정됩니다.
• Simulator, judge, 평가 대상 agent 일부가 같은 model family입니다.
• Agent turn의 70%가 300초 제한에 걸렸습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.