[논문리뷰] The Last Mile to the Real World: Agent-Native Primitives as Reusable Building Blocks for Solving Real-World Tasks

링크: 논문 PDF로 바로 열기

저자: Haibo Jin, Peng Kuang, Xiaopeng Yuan, Lucheng Fu, Jerry Wang, et al. (University of Illinois Urbana-Champaign, Georgia Institute of Technology, heelo.dev)

1. Key Terms & Definitions (핵심 용어 및 정의)

• Last Mile to the Real World: Agent가 resource에 접근한 뒤 실제로 적용하는 단계를 뜻합니다. 저자들은 실패가 주로 이 단계에서 일어난다고 봅니다. 이 단계는 세 가지 어려움으로 구성됩니다. 첫째는 Application in context(tool argument grounding 등), 둘째는 Composition(한 단계의 결과를 그것을 쓰는 단계로 전달), 셋째는 Evidence-driven revision(실패를 원인이 된 작업까지 추적해 그 작업만 다시 수행)입니다.
• Agent-Native Primitive: 재사용 가능한 resource(tool schema, repository component, proof method, source model 등)에 resident LLM을 붙인 단위입니다. 이 LLM은 자연어 request를 받아 resource를 context에 맞게 적용하고, 결과 r_i와 다른 primitive에게 보낼 message m_i를 반환합니다. 정확한 절차가 존재하는 domain에서는 LLM 대신 program이 이 역할을 합니다.
• HEELO: Harness Engineering around Evolving Agent-Native Primitives for the Last Mile to Real-World Tasks의 약자입니다. Primitive library로부터 task마다 harness를 구성하는 framework이며 세 가지 mechanism으로 이루어집니다. (1) Library Selection & Composition, (2) Evidence-Based Execution & Improvement, (3) Validation & Publishing입니다.
• Relevance Assessment (Self-Advertisement): Primitive가 스스로 request에 적용 가능한지 판단하고 사용 방법을 제안하는 절차입니다. Similarity retrieval로 먼저 고른 pool에 의존하지 않아도 되게 해 줍니다.
• Harness: Model과 environment 사이의 control program입니다. 어떤 operation을 어떤 input으로, 어떤 순서로 실행하고 언제 멈출지를 결정합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 다루는 핵심 문제는, frontier model과 전용 harness를 조합해도 real-world task를 End-to-End로 해결하지 못하는 원인이 resource "접근"이 아니라 "적용" 단계에 있다는 점입니다. Terminal-Bench 4.0에서 maximum reasoning effort로 실행했을 때 해결률은 GPT-5.6 Sol + Codex가 37.3%, Claude Opus 5 + Claude Code가 51.8%에 그칩니다. DevOps-Gym의 네 stage 평균 성공률도 각각 49.9%, 52.1%입니다.

기존 접근법(tool learning, RAG/memory, skill library, multi-agent framework, harness generator)의 한계는 다음과 같습니다.

• Resource를 쉽게 찾고 재사용할 수 있게는 했지만, resource를 적용하는 competence는 caller에게 남겨 두거나 하나의 monolithic agent 안에 넣었습니다.
• 그 결과 harness가 task마다 이 competence를 다시 만들어야 합니다. Caller가 읽어야 하는 정보는 library가 커질수록 늘어나고, 한 task에서 배운 것은 그 task가 끝나면 사라지며, 결과를 검증하기도 어렵습니다.

저자들은 "resource를 적용하는 competence는 resource와 함께 이동해야 한다"고 주장하고, 이 원칙에 따라 primitive 기반의 harness engineering을 제안합니다 [Figure 2].

3. Method & Key Results (제안 방법론 및 핵심 결과)

HEELO는 task마다 primitive library에서 필요한 primitive만 골라 task-specific graph로 조합하고, 실행 evidence를 바탕으로 문제가 된 primitive만 수정하는 harness engineering framework입니다 [Figure 2].

방법론

• Library Selection & Composition: Interface 기반 retrieval이나 relevance assessment로 후보를 찾습니다. 그다음 activation set 𝒜_t와 dependency ℰ_t로 이루어진 plan Π_t를 만듭니다. 실제로 실행되는 primitive만 cost를 발생시키므로 cost는 library 크기 N이 아니라 |𝒜_t|에 비례합니다.
• Evidence-Based Execution & Improvement: Plan을 round 단위로 실행하고 build status, test 결과, compiler message 같은 evidence를 기록합니다. VERIFY 단계가 실패를 일으킨 primitive ℐ_t를 찾아내면, 해당 부분만 다시 계획하고 나머지 작업은 유지합니다. Build나 test가 실패하면 model의 판단으로 이를 뒤집을 수 없습니다.
• Validation & Publishing: Task 실행과 분리된 경로입니다. Test, compiler, development run 등으로 검증을 통과한 primitive만 library에 추가합니다.
• Theoretical Analysis: Companion study에서 증명한 내용에 따르면, activation 규모는 library 크기와 관계없이 task의 demand로 제한됩니다. 또한 task별 composition이 가장 좋은 fixed harness보다 우수해지는 조건이 제시됩니다.
• Eight Primitive Families: Tool(HEART), Code(LEGO), Math, Knowledge(SourceLearn), Agent, Dev(HERMES), Navigation(ANTMAN), Harness(STITCH)의 여덟 가지입니다. 저자들이 구축한 library 규모는 Tool Primitives 25,519개, test로 검증된 Code Primitives 1,424개, Lean으로 compile되는 Math Primitives 82개입니다.

핵심 정량 결과 (20개 이상의 benchmark) [Figure 1]

• Dev-Primitives: 같은 backbone 조건에서 Terminal-Bench 4.0 해결률이 Codex의 37.3%에서 55.5%로 올라 +18.2pt를 기록했습니다.
• Harness Primitives: mini-SWE-agent seed harness 대비 Pass@1이 SWE-bench Verified(100개 task)에서 73.0% → 80.5%, Terminal-Bench 2.0(45개 task)에서 60.0% → 72.2%로 올랐습니다. 두 결과 모두 Codex(79.0%, 56.7%)보다 높습니다. Composition cost는 actor attempt 1회의 2.7–4.3% 수준입니다.
• Tool Primitives: ToolBench pass rate가 55.8% → 75.1%로 올랐습니다. Qwen3-8B 기반으로 τ²-Bench에서 GPT-5.4보다 최대 7.7× 낮은 cost를 기록했습니다.
• Code Primitives: Repository delivery score가 0.3180 → 0.5134로 올라 Claude Code 대비 +56.2%입니다.
• Agent Primitives: 8개 benchmark 평균 accuracy가 단일 agent의 58.8%에서 75.3%로 올랐습니다.
• Navigation Primitives: GAIA-Text-103 accuracy가 45.6% → 58.3%로 올랐습니다.
• Math Primitives: Held-out Putnam 문제 중 95.0%에서 annotated reference method가 top-5 안에 들었습니다. 가장 강한 reranker는 84.2%입니다.

Figure 1 — 벤치마크 및 실세계 결과

분석 결과

• 성능 이득은 primitive 내부에서 resource를 적용하는 방식에서 나옵니다. 호출 budget을 맞춘 self-refinement는 ToolBench에서 34.2%에 그쳤고, Tool Primitives는 75.1%를 기록했습니다.
• Agent 간 KV cache 통신에서 RoPE re-indexing을 빼면 HumanEval+ 성능이 85.3%에서 31.1%로 떨어집니다.
• 어떤 primitive가 실행될지는 task가 결정합니다. Distractor로 information space를 16× 키워도 활성화되는 Navigation Primitives는 **1.23×**만 증가했습니다.

실세계 platform heelo.dev [Figure 3]

• 46개 real-world task에서 단독으로 실행한 Claude Opus 5.5 + Claude Code와 GPT-6.1 Sol + Codex는 각각 9개만 완료했습니다.
• MCP server로 HEELO에 연결하자 완료 수가 각각 39개, 35개로 늘었고, task score는 28% → 90%, 25% → 83%로 올랐습니다.
• 완료 task당 소요 시간은 1.9×, 2.3× 줄었고 cost는 1.55× 낮아졌습니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문의 결론은 resource를 적용하는 competence를 resource 자체에 붙인 agent-native primitive로 각 task의 harness를 구성하면 last mile 문제를 해결할 수 있다는 것입니다. HEELO는 세 mechanism(selection/composition, evidence-based revision, validation/publishing)으로 여덟 개 primitive family를 하나의 framework 안에 통합합니다. 모든 family가 각 reference baseline보다 높은 성능을 보였습니다.

시사점

• 학계: Tool use, RAG, MAS, theorem proving, SWE agent처럼 따로 연구되던 분야를 "primitive + harness engineering"이라는 하나의 추상화로 묶습니다. 새로운 종류의 task는 새 primitive family로 추가하면 됩니다.
• 산업계: Claude Code, Codex 같은 기존 agent harness를 교체하지 않고 MCP로 연결만 해도 완료율이 크게 오르고 cost가 줄었습니다. 따라서 primitive library가 실용적인 infrastructure layer가 될 수 있습니다.
• 재사용성: 검증을 거쳐 publish된 primitive는 한 task를 위해 만든 competence를 이후 task들이 조합해 쓰는 building block으로 남깁니다. 이는 agent system이 시간이 지나며 발전하는 방향을 보여 줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.