[논문리뷰] Interpreting Coding Agents Through Their Behavioral Trajectories
링크: 논문 PDF로 바로 열기
저자: Ibragim Badertdinov, Alexander Golubev (Nebius)
1. Key Terms & Definitions (핵심 용어 및 정의)
- Agent Stack: 실제로 배포된 시스템 전체를 말한다. Base model, scaffolding harness(SWE-agent-like, Claude Code, Codex 등), reasoning-effort level, API decoding parameter를 모두 포함한다. 같은 model이라도 scaffold가 다르면 별개의 stack으로 취급한다.
- Rule-based Action Parser: 서로 다른 harness에서 나온 tool call과 실행 output을 pattern matching으로 공통 taxonomy에 mapping하는 deterministic parser다. 각 tool call은 Primary operation(exploration, search, file reading, file mutation, formal test execution, workspace inspection 등 10개 범주), Target file role, Mutation type, Read mode의 4개 attribute로 분류된다.
- Outcome-Matched Pair Design: 같은 scaffold를 쓰면서 base model만 다른 두 configuration을 짝지어 비교하는 설계다. 두 configuration은 50개 이상의 공유 task에서 solve rate 차이가 |Δsolve| ≤ 1.0 pp 이내여야 한다.
- Split-Half Null Control: 같은 stack의 rollout들을 무작위로 두 절반으로 나눠(100개 seed) 그 사이의 차이를 측정하는 A/A test다. 이 값을 run-to-run variance의 empirical baseline으로 사용한다.
- Unproductive Tail / Consecutive Repeated Failures: Unproductive tail은 마지막 productive event(non-test write 또는 passing test) 이후에 이어진 nonterminal action의 수다. Consecutive repeated failures는 같은 canonical signature로 연속해서 실패한 시도의 수다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
이 논문이 다루는 핵심 문제는 binary solve rate만으로는 coding agent가 어떻게 문제를 푸는지 알 수 없다는 점이다. 그래서 저자들은 대규모 execution trajectory를 공통 표현으로 바꿔 행동 수준에서 비교하는 방법을 제안한다.
- Black-box 평가의 한계: SWE-bench 계열 benchmark는 multi-step interaction을 "issue를 해결하고 test를 통과했는가"라는 하나의 결과로 줄인다. 이 방식은 ranking에는 쓸모 있지만 failure diagnosis나 model별 접근 방식 차이는 보여주지 못한다.
- Trace의 heterogeneity: harness마다 노출하는 tool, command format, logging schema가 다르다. 그래서 tool name이나 raw command를 그대로 비교하면 의미상의 action과 구현 세부가 뒤섞인다.
- 기존 연구의 한계: 기존 연구는 taxonomy, process-flow graph, failure diagnostics 같은 도구를 만들어 왔다. 하지만 수많은 stack을 대규모로 비교하면서 성능 차이와 rollout variability의 영향을 분리하고, repository와 language가 바뀌어도 행동 profile이 안정적인지 검증한 연구는 부족했다.
- 따라서 harness와 무관하게 "agent가 무엇을 하는지"를 담는 shared representation이 필요하다 [Figure 1].

Figure 1 — Action 분류 파이프라인
3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 143,209개 trajectory(125개 agent configuration, 117개 unique model)를 분석해, solve rate가 같아도 workflow는 다르며 behavioral profile만으로 stack을 식별할 수 있음을 보였다.
방법론
- 데이터: SWE-rebench Leaderboard를 사용했다. Python task는 860개(413개 repository), multilingual task는 111개(Go, Java, Python, Rust, TypeScript)다.
- Parser: 각 tool call을 실행 output과 짝지은 뒤 4개 attribute로 분류한다 [Figure 1]. Reasoning trace는 분석하지 않고, 관찰 가능한 실행 행동만 다룬다.
- 6개 workflow metric: Operational actions, Exploration share, Non-test repository writes, Formal-test invocations, Consecutive repeated failures, Unproductive tail.
- Parser audit: 사람이 직접 labeling하는 대신 frontier LLM 6개(claude-opus-5, gpt-5.6-sol, gemini-3.7-flash, Kimi-K3 등)의 consensus를 기준으로 삼았다. 층화 추출한 500개 action을 대상으로, 6개 model 중 5개 이상이 같은 label에 동의한 경우만 reference label로 인정했다.
- Behavioral retrieval: solve outcome, token 수, 총 action 수, native tool name을 모두 뺀 8-dim profile(cross-repository용)과 12-dim profile(multilingual용)을 만들었다. 그다음 cosine nearest-neighbor 방식으로 해당 stack을 찾아냈다.
핵심 결과
- Parser 신뢰도: Primary operation 일치율은 82.4%, Read mode는 96.6%였다. 반면 Target file role은 77.0%, Mutation type은 68.8%로 낮아, 이 두 attribute에 의존하는 metric은 diagnostic proxy로만 취급한다.
- Solve rate 일치 ≠ 행동 일치: 비교한 pair는 60개이며 solve rate 차이의 median은 0.40 pp에 불과했다 [Figure 2].
- 60/60 pair가 workflow metric 2개 이상에서 유의하게 갈렸다(task-paired 95% bootstrap CI 기준).
- 96.7%(58/60)는 3개 이상에서 갈렸다.
- Null control에서 3개 이상이 갈리는 비율은 0.78%뿐이어서, 이 차이가 run-to-run variance 때문이 아님을 보여준다.
- Model 세대 변화: 같은 generic harness에서 측정했다.
- Claude Opus 계열에서
sed -n기반 line-range read 비율이 6.9%(Opus 4.6) → 57.7%(Opus 5)로 늘었다. pytest -q사용 비율은 22.7% → 99.8%로 늘었다.- GPT 계열은 총 action 수가 24.4(GPT-5.4) → 12.8(GPT-5.6 Sol)로 줄었고, 인식된 edit의 72.1%를 inline Python script로 처리했다.
- Claude Opus 계열에서
- Reasoning effort의 영향:
- GPT-5.5를 Medium에서 xHigh로 올리면 총 action이 24.2 → 43.4로 늘었다.
- Claude Code 위의 Opus 4.8은 Low에서 xHigh로 올리면 31.3 → 54.4로 늘었다.
- 늘어난 action은 무의미한 반복이 아니었다. Unproductive tail은 오히려 −0.50 줄었고, 대신 exploration이 넓어졌다.
- 마지막 write 이후 workspace inspection을 시도한 rollout 비율도 12.7% → 66.8%로 크게 늘었다.
- Scaffold의 영향:
- Opus 4.7을 Claude Code에서 돌리면 edit의 92.4%, read의 90.5%가 native API를 사용했다.
- 같은 model을 SWE-agent-like harness에서 돌리면 native edit 비율은 37.0%에 그쳤다.
- GPT-5.5를 Codex에서 돌리면 native edit 비율은 30.9%였다.
- Stack retrieval:
- Cross-repository(111개 stack, chance 0.9%)에서 Top-1 85.1%, Top-3 96.8%를 기록했다.
- Cross-language(16개 stack, chance 6.25%)에서는 Top-1 90.3%, Top-3 98.8%를 기록했다.
- 다만 action composition만으로도 Top-1 87.5%에 도달한다. 따라서 저자들은 이 profile을 고수준 문제 해결 전략이 아니라 "low-level operational signature"로 해석한다.

Figure 2 — Matched pair 행동 차이
4. Conclusion & Impact (결론 및 시사점)
이 논문의 결론은 solve rate가 agent 행동을 불완전하게만 설명하므로, execution behavior를 task success와 함께 보는 별도의 평가 축으로 다뤄야 한다는 것이다.
- 세 가지 결론
- Solve rate가 거의 같은 stack들도 재현 가능할 만큼 서로 다른 workflow를 보인다.
- Model, scaffold, reasoning effort가 관찰 가능한 실행 행동을 체계적으로 바꾼다.
- Behavioral profile은 repository와 language가 바뀌어도 stack을 구분할 수 있다.
- 시사점
- Trajectory audit으로 reward hacking이나 피상적인 hardcoding을 찾아낼 수 있다.
- Process-based reward model이나 RL objective에 structured trajectory signal을 supervision으로 쓸 수 있다.
- 이런 응용은 저자들이 future work로 남겨 두었다.
- Parser, analysis pipeline, annotated trajectory subset이 공개되어 behavior-centered evaluation 연구의 기반이 된다.
- 한계
- Parser를 사람이 아닌 LLM consensus로만 검증했다.
- Reasoning trace는 분석에서 제외했다.
- 모든 데이터가 단일 benchmark(SWE-rebench)에서 나왔다.
- Cross-repository 결과는 task composition을 완전히 통제하지 못했다.
- Aggregate solve rate로 짝지었기 때문에, 각 agent가 어떤 task를 풀었는지까지 맞추지는 않았다.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
- [논문리뷰] What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?
- [논문리뷰] Beyond Benchmarks: Can Small Open-Weight Models Get Real Coding Work Done?
- [논문리뷰] ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step
- [논문리뷰] WideSWE: Can Coding Agents Coordinate Changes Across Repositories?
- [논문리뷰] Read Less, Solve More: Token-Efficient Sparse Reading of External Content for AI Agents
Review 의 다른글
- 이전글 [논문리뷰] HALO: Human-Aligned Data Collection for WhoLe-body MObile Manipulation
- 현재글 : [논문리뷰] Interpreting Coding Agents Through Their Behavioral Trajectories
- 다음글 [논문리뷰] JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams
댓글