[논문리뷰] Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation

링크: 논문 PDF로 바로 열기

저자: Chengcheng Wang, Yuheng Shi, Siyu Xu, et al. (Project Leads: Yunke Wang, Chengbin Du, Tao Huang, Jianyuan Guo, Chang Xu)

1. Key Terms & Definitions (핵심 용어 및 정의)

• Planning–Execution Gap: VLM이 상위 수준의 task 결정은 잘 내리지만 이를 실제 로봇 팔 동작으로 옮길 때 성공률이 크게 떨어지는 현상입니다. RoboDojo에서 GPT-6 Astra의 성공률은 arm 없이 물체를 waypoint를 따라 옮기는 privileged action에서는 76.2%였지만, reference end-effector interface(RoboProbe)로 팔을 직접 제어하면 22.5%에 그쳤습니다.
• Zero-Shot Single-Episode Protocol: 평가 조건은 세 가지입니다. (1) target task에 대한 사전 탐색이나 개발을 하지 않고, (2) 평가 시 demonstration을 제공하지 않으며, (3) case마다 reset이나 rerun 없이 한 번만 실행합니다.
• Admission Gateway (𝒜): 모든 물리적 동작이 거쳐야 하는 단일 관문입니다. Direct tool call로 들어온 동작과 모델이 작성한 program에서 나온 동작 모두 여기를 지나며, preview–execute–verify loop를 수행합니다.
• Task Belief (B_t) / Evidence Record (E_t): B_t는 모델이 현재 plan, open question, task premise(pending/supported/contradicted/unknown)를 간결하게 기록하는 상태입니다. E_t는 전체 interaction log를 context 밖에 보관해 두었다가 필요할 때 불러오는 기록입니다.
• Finger-Referenced Action: wrist-flange 대신 손가락 접촉 영역을 기준으로 이동 목표를 지정하는 방식입니다. 두 팔은 shared timeline 위에서 함께 조율됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 VLM 기반 manipulation의 주된 bottleneck이 task reasoning이 아니라 physical execution에 있다고 보고, 이 문제를 단일 episode 안에서 zero-shot으로 해결하려 합니다. 저자들은 42개 task, 210 episode로 구성한 진단 실험에서 모델이 대개 올바른 물체와 목적지를 고르지만 몇 mm 차이로 grasp를 놓치거나, 운반 중 물체를 떨어뜨리거나, 용기 rim에 부딪혀 실패한다는 것을 보였습니다. 기존 접근의 한계는 다음과 같습니다.

• Step-wise/chunked action interface는 최신 frame만 보고 동작을 내보내고 전체 경로를 미리 보여주지 않습니다. 그래서 collision은 팔이 이미 움직인 뒤에야 드러납니다.
• Program generation 방식은 장면을 볼 수 없는 script에 실행을 맡깁니다. Program이 정상 종료되었다고 해서 의도한 contact가 성공했다는 보장은 없습니다.
• HexaShell, EmbodiedEvo 같은 cross-trial evolution 방식은 target task에서 env.reset을 반복하며 offset이나 script를 조정합니다. 따라서 고정된 scene layout에 overfit되기 쉽고, 실제 배포 환경처럼 한 번에 성공해야 하는 상황에는 적용할 수 없습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 task-specific code, prompt, heuristic을 전혀 포함하지 않는 task-agnostic agent harness인 Auriga를 제안합니다 [Figure 1]. 핵심 설계는 모든 task 결정을 모델이 내리고, harness는 장면 측정, 동작 검증 및 실행, 결과 보고를 담당하도록 역할을 나누는 것입니다 [Figure 4].

Figure 4 — Auriga 전체 구조

Figure 1 — zero-shot 수행 개요

• Decision layer: 하나의 persistent model session이 task belief B_t를 유지합니다. 이를 바탕으로 direct tool call을 하거나 multi-step Python program을 합성해 행동합니다.
• Admission Gateway: 시뮬레이션이 멈춘 상태에서 multi-stage dual-arm sequence를 planning하고, 경로, step cost, clearance warning을 담은 trajectory preview를 보여줍니다. 실행 중에는 모델이 정한 arrival tolerance τ_k=(δ_p, δ_θ), gripper opening, checkpoint를 확인합니다. 편차가 생기면 로봇을 멈추고 receipt r_t(완료된 stage, 측정된 편차, 새 camera view)를 돌려주어 현재 상태에서 바로 recovery할 수 있게 합니다 [Figure 6].
• Capability layer: camera calibration, VGGT-Omega depth, SAM 3.1 segmentation을 이용해 3D object estimate, ray–plane intersection, two-view triangulation, in-hand slip 측정을 제공합니다.
• Harness evolution: 개발 단계에서는 13번의 cross-task iteration을 거치며 실패 사례를 바탕으로 공용 tool을 개선했습니다. 성능은 iteration #4의 36.2% SR에서 최종 57.7% SR까지 올랐고, 평가 시에는 harness를 frozen 상태로 두었습니다.

Figure 6 — Preview와 검증 과정

주요 정량 결과:

• RoboDojo (42 task, 6,300 episode): Score 64.0 / SR 57.7%로 learned policy와 agent 방법을 통틀어 leaderboard 1위를 기록했습니다. 같은 모델의 reference harness(29.0 Score / 22.5% SR) 대비 두 배 이상이며, 진단 세트에서는 planning–execution gap의 68.3%를 줄였습니다.
• Scene randomization (12개 Generalization task): learned policy는 SR이 최대 33.9% 떨어졌습니다. 반면 Auriga는 standard scene 52.3%, random scene 45.6%로 두 조건 모두 1위였고, generalization score도 G=46.3으로 가장 높았습니다.
• RoboCasa365 (Target50, 250 episode): Overall SR 73.2%(Atomic-Seen 92.2%, Composite-Seen 67.5%, Composite-Unseen 57.5%)를 달성했습니다. Overall에서 VLA-assisted agent인 RPent(59.2%), PyRUA-Lean(56.4%)을 앞섰고, composite task에서는 각각 최대 19.4%, 23.1% 높았습니다.
• Ablation (task 10개, case 50개): 각 기능을 제거했을 때 성공 수가 다음과 같이 줄었습니다. 대조군인 Full의 성공 수는 실험마다 다릅니다.

제거한 기능	성공 수 (제거 후 / Full)
Geometry tools	30/50 / 46/50
Preview	36/50 / 42/50
Clearance review	31/50 / 36/50
Wrist-flange goal로 대체	37/50 / 39/50

4. Conclusion & Impact (결론 및 시사점)

Auriga는 task-specific tuning, demonstration, reset 없이 단일 episode zero-shot 조건에서 VLM의 planning–execution gap을 크게 줄였고, RoboDojo와 RoboCasa365 모두에서 SOTA 수준의 성능을 보였습니다. 이 결과는 learned policy를 추가로 학습하지 않아도 범용 model과 잘 설계된 closed-loop harness(preview, stage verification, 3D measurement)만으로 robust한 manipulation이 가능하다는 점을 보여줍니다. 특히 within-task trial search 대신 cross-task tool evolution으로 성능을 높인 접근은 scene randomization에서도 성능이 비교적 덜 떨어져, 실제 배포 환경에서의 generalization에 유리하다는 시사점을 줍니다. 저자들은 한계와 향후 과제로 continuous force-sensitive manipulation, deliberation latency 감소, cross-task tool synthesis 자동화를 제시합니다. 실험이 simulation benchmark 중심이므로 real-robot에서의 성능은 이 논문에서 명시되지 않았습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.