[논문리뷰] Envisioning Agentic Robotics: A New Era of Robotic Systems
링크: 논문 PDF로 바로 열기
저자: Grid Robotics, Qingfeng Lan, Duo Li, Siyao Li, et al. (Yiheng Lyu, Shijian Lu, Zhenghao Qi, Shizun Wang, Xinchao Wang, Ming Yang, Zhiqin Yang, Zuhao Yang, Tao Yu)
1. Key Terms & Definitions (핵심 용어 및 정의)
- Agentic Robotics: Task마다 dedicated policy를 학습하지 않고, foundation model이 closed loop로 동작하는 robotics paradigm입니다. 이 loop는 observe → intent 해석 → reasoning → skill/tool 호출 → outcome verification → strategy adaptation 순으로 진행됩니다. 기존의 policy-centric robotics와 대비되는 개념입니다.
- S2 / S1 / S0 (Reference Architecture): 기능 단위로 역할을 나눈 구조입니다.
- S2: intent 해석, reasoning, orchestration, verification을 맡습니다.
- S1: VLA, WAM, perception, motion planning 같은 callable skill과 module을 제공합니다.
- S0: whole-body tracking, IK, joint control 등 body interface와 real-time control을 담당합니다.
- 이 분할은 기능 기준이라서, 하나의 model이 여러 역할을 맡을 수도 있습니다.
- Embodied S2 / Embodied Harness: S2를 실제로 구현한 형태로, foundation model과 embodied harness로 구성됩니다. Harness의 5개 core component는 Context manager, Tool interface, Planner, Memory, Verification입니다. Harness는 observation 정리, plan/memory 유지, skill/tool 노출, 실행 검증을 맡습니다.
- Capped Scaling: 일반 frontier model은 capability가 커질수록 latency도 늘어납니다. 반면 Embodied S2는 고정된 decision deadline 안에서 더 유능해져야 한다는 제약을 가리킵니다.
- Ladder of Delegable Work (L1–L4): robot에게 맡길 수 있는 responsibility의 범위로 progress를 측정하는 4단계 척도입니다. L1 Primitive → L2 Task → L3 Workflow → L4 Role 순으로 넓어집니다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
이 논문은 GPT-6 Astra 이후 등장한 agentic robotics에 공유된 정의, 신뢰할 만한 evaluation framework, research roadmap이 모두 없다는 문제를 다룹니다. 기존 VLA·WAM 계열 policy는 데이터 scaling으로 generalization을 높이려 했지만, scene이나 instruction이 바뀌면 성능이 떨어지는 한계가 남아 있었습니다. Astra 같은 general model에 agentic harness를 붙이면 task-specific fine-tuning 없이도 여러 embodied benchmark에서 trained policy와 대등하거나 더 나은 결과를 냈습니다. 하지만 연구마다 실험 조건이 크게 달랐습니다. 예를 들어 RoboDojo 평가는 연구에 따라 task-knowledge source와 action budget이 다르고, harness 구성이 바뀌는 것만으로도 성능이 크게 움직여서 결과끼리 비교하기가 어렵습니다. 또 digital agent의 성공을 뒷받침한 네 가지 enabling conditions가 physical world에서는 약해집니다. 네 조건은 native interface, verifiable outcome, abundant data, cheap environment입니다 [Figure 10]. 그래서 digital agent에 camera와 robot tool을 붙이는 것만으로는 충분하지 않다고 저자들은 주장합니다.

Figure 10 — Enabling conditions
3. Method & Key Results (제안 방법론 및 핵심 결과)
이 논문은 position/survey 성격의 연구입니다. 핵심 기여는 S2/S1/S0 reference framework, 9-dimension evaluation framework, delegable work roadmap이며, 새 model 학습은 포함하지 않습니다.
제안 프레임워크
- Agentic loop: S2가 intent를 해석하고, S1 skill이나 S0 interface, external tool을 호출한 뒤 결과를 검증해 다음 결정에 반영합니다.
- 세 가지 execution path: layered orchestration, S0 직접 호출, 그리고 이 둘의 혼합입니다.
- Physical constraints: limited reaction time, mechanical limits, 예측할 수 없는 환경 변화, irreversible consequence를 S2 설계의 핵심 제약으로 정의합니다.
- Evaluation: model-level(single turn, tool 없음)과 system-level(harness + S1/S0 포함)로 나눕니다. 총 9 dimensions, 53 sub-dimensions로 구성됩니다.
- 9개 dimension은 Knowledge, Understanding, Reasoning, Tool use, Memory, Cross-embodiment, Safety, Efficiency, Cost입니다.
- 53개 중 29개가 embodiment-related sub-dimension입니다.
- Roadmap: L1–L4 ladder에 spatial scope 축을 결합합니다. Scope는 workcell → room → building → site 순으로 넓어집니다 [Figure 13], [Figure 1].

Figure 1 — L1–L4 비전

Figure 13 — Spatial scope 단계
기존 발표 결과 정리 (2026년 10월 snapshot, 저자들이 재현하지는 않음)
- 좁은 simulated suite에서는 경쟁력이 있음
- RoboLab-120: Astra가 66.3% (direct) / 74.8% (agentic)를 기록했고, best leaderboard policy는 51.0%였습니다.
- RoboMME: 92.1%로, 기존 최고 60.8%를 넘었습니다.
- LIBERO-PRO: 94.0%로, π0.5의 53.0%보다 높았습니다. 다만 evaluation setup은 서로 다릅니다.
- 넓은 benchmark는 아직 미해결
- RobotWorld 19.0%, RoboQuest 23.2%, HumanCLAW 16.8%에 그쳤습니다.
- Astra는 RobotWorld의 locomotion task 11개 중 하나도 풀지 못했습니다.
- Harness가 결과를 크게 좌우함
- Model을 고정하고 harness만 바꿔도 success rate가 약 9–35%p 움직였습니다.
- 같은 Astra라도 RoboDojo 점수는 조건에 따라 22.48%에서 85.0%까지 달라졌습니다.
- Interface만 tool calling에서 Python cell로 바꿔도 63.1% → 71.7%로 올랐습니다.
- Tool 효과는 model capability에 따라 다름: EmbodiedSkillBench에서 skill-only 제약은 GPT-5.6-Sol을 11% → 63%로 끌어올렸습니다. 반면 Astra는 92% → 61%로 떨어졌습니다.
- Live world에서는 성능이 급락함
- RT-Safe: safe success가 paused 조건 19.8%에서 live 조건 0.7%로 떨어졌고, collision은 12.3배 늘었습니다.
- RoboHarm: refusal 비율이 text에서는 72%였지만 real robot에서는 18%에 그쳤습니다. Text에서 학습한 safety가 action으로는 일부만 전이된다는 뜻입니다.
4. Conclusion & Impact (결론 및 시사점)
결론적으로 저자들은 foundation model과 embodied harness로 이루어진 Embodied S2를 agentic robotics의 decision-making core로 봅니다. 이것이 데이터 scaling과 상호보완적인 generalization 경로라고 주장합니다. 다만 지금까지의 evidence로는 L3(workflow)·L4(role) 수준의 reliable autonomy가 아직 확립되지 않았습니다. 저자들이 제시하는 커뮤니티 우선순위는 세 가지입니다.
- 평가 확장: simulation에 real-robot testing을 더하고, 더 높은 responsibility level과 넓은 spatial scope까지 평가 범위를 넓혀야 합니다.
- Reasoning efficiency: deadline 안에서 더 나은 결정을 내리는 방향, 나아가 embodied-native reasoning을 목표로 해야 합니다.
- Reporting 표준화: model, harness, inference budget, response time, human assistance 등을 표준화된 방식으로 보고해야 합니다(harness card).
이 연구는 "robot이 명령을 받아 무엇을 할 수 있는가"에서 "robot에게 무엇을 맡길 수 있는가"로 평가 기준을 옮깁니다. 이를 통해 학계에는 비교 가능한 evaluation protocol의 필요성을, 산업계에는 harness 설계와 latency·safety 관리의 중요성을 강조합니다.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
- [논문리뷰] EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents
- [논문리뷰] Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation
- [논문리뷰] Agent as Policy for Robotic Manipulation
- [논문리뷰] World In-Context Learning for Agentic Robot Manipulation
- [논문리뷰] Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence
Review 의 다른글
- 이전글 [논문리뷰] Emergent Biological Capabilities in a Foundation Model for Molecular Interactions
- 현재글 : [논문리뷰] Envisioning Agentic Robotics: A New Era of Robotic Systems
- 다음글 [논문리뷰] EvenVLM: A Text and Multimodal Dataset for the Even Language with Vision-Language Fine-Tuning
댓글