[논문리뷰] World In-Context Learning for Agentic Robot Manipulation

링크: 논문 PDF로 바로 열기

저자: Heng Fang, Zehui Guo, Yuehan Zhang, Mingyang Du, Dingkang Liang, Xiang Bai (Huazhong University of Science and Technology, ArcheOne AI)

1. Key Terms & Definitions (핵심 용어 및 정의)

• WICL (World In-Context Learning): In-context learning에 world feedback을 결합한 learning paradigm입니다. Weights가 frozen된 foundation model이 하나의 demonstration에서 출발합니다. 이후 simulator 같은 world에서 task를 rehearse하고, 그 feedback을 weights가 아닌 context에 기록합니다. Imitation learning을 RL로 확장하는 관계와 유사하게 ICL을 확장한 개념입니다.

• Task Memory (C⋆): rehearsal을 거쳐 학습된 뒤 frozen되는 구조화된 Markdown 문서입니다. 다음 항목으로 구성됩니다.

  • object roles
  • stage별 workflow
  • GraspSpec/PlaceSpec 같은 relative specification
  • learned parameters와 lessons

  절대 좌표 없이 semantic 정보만 담으며, memory linter가 coordinates, ground-truth terms, instance identifiers를 거부합니다.

• Semantic content σ: instance의 objects, roles, instruction, relative geometry를 의미합니다. 두 world가 σ(W)=σ(W′)를 만족하면 context 기반 지식이 appearance, lighting, physics parameter가 다른 world로 그대로 transfer된다는 것이 논문의 핵심 주장입니다.

• RSI (Recursive Self-Improvement): 서로 겹치지 않는 evaluation block마다 reflection agent가 episode records(deployable observation과 성공 여부만 포함)를 분석합니다. 그 결과로 guidance G_{j+1}을 작성하며, gradient update 없이 성능을 개선합니다.

• Data Isolation (Deployable vs. Privileged tier): 모든 acting agent는 real robot에서도 얻을 수 있는 deployable data(RGB-D, proprioception, motion planner feedback)만 사용합니다. Privileged simulator 정보는 learning 단계의 supervision으로만 쓰입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 "robot이 weights가 아닌 context 안에서 manipulation task를 trained policy만큼 잘 학습할 수 있는가"라는 질문에 답하고자 합니다.

기존 trained action policy의 한계

• VLA와 WAM 같은 trained action policy는 skill을 network weights에 기록합니다. 그 결과 학습 분포에 강하게 결합됩니다.
• 예를 들어 FastWAM은 RoboTwin 2.0 clean scene에서 77.8%를 달성하지만, domain randomization 환경에서는 1.9%로 급락합니다.
• 새로운 task나 분포가 등장할 때마다 새로운 data와 training이 필요합니다.

기존 ICL 접근의 한계

• ICL은 이런 coupling을 피할 수 있지만, trained policy 수준에 도달하지 못했습니다.
• 원인은 다른 scene에서 기록된 demonstration이 현재 world에 대한 feedback을 전혀 제공하지 못한다는 데 있습니다.
• Code as Policies 계열도 world feedback이 없어 error가 누적됩니다.

저자들의 착안점

• Coding agent가 terminal에서 실행 결과를 읽으며 학습하듯, robot에게도 안전하고 저렴한 "world"(simulator)를 feedback loop로 제공해야 한다고 봅니다.
• 핵심 관찰은 context에 학습되는 지식이 visual appearance가 아닌 semantic 정보라는 점입니다. 따라서 world 간 transfer가 가능하다는 것입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

RoboScript는 WICL을 구현한 modular infrastructure입니다. 하나의 demonstration과 simulator rehearsal만으로 Task Memory를 학습하고, 이를 frozen한 채 새로운 scene에 deploy합니다 [Figure 3].

Figure 3 — WICL의 형식화(rehearsal, freeze, deploy), RSI, semantic transfer 개념을 보여주는 핵심 프레임워크 다이어그램

WICL 형식화

• 학습 과정은 C₀ = I_θ(d), (τ_k, r_k) ∼ W(π_θ(·|o, C_k), e_k), C_{k+1} = U_θ(C_k, τ_k, r_k)로 정의됩니다.
• Rehearsal set과 test set이 분리되어 있으므로 결과는 memorization이 아닌 generalization을 측정합니다.

RoboScript lifecycle (4단계) [Figure 4]

Figure 4 — RoboScript 전체 pipeline과 deployable/privileged data isolation 구조를 보여주는 방법론 다이어그램

1. Skill building
   • Shared entry points와 automated probe로 얻은 environment binding 위에 coding agent가 environment-specific skill을 작성합니다.
   • Gate는 absolute position literal을 거부하고 transfer check를 통과해야 skill을 승인합니다.
   • Perception은 depth 기반의 geometric-first 방식입니다. Object identity는 Set-of-Mark, grounding model, VLM의 3-way vote로 결정합니다.
   • 모든 action은 commanded/achieved pose와 grasp 여부를 담은 receipt를 반환합니다.
2. Task learning
   • S1 Imitation: reader, actor, reviewer role이 demonstration instance에서 memory를 작성하고 다듬습니다.
   • S2 Rehearsal: 새로운 training instance에서는 first attempt만 집계합니다.
   • 실패한 경우 reviewer가 cached copy를 수정하며, retry가 성공할 때만 shared memory에 merge합니다.
   • Edit budget은 instance가 늘어날수록 줄어듭니다(α_k = max(0.2, 10/(9+k))).
3. Deployment
   • Scene anticipation 단계에서 role mapping과 arm reachability를 확인합니다.
   • 실패 시 reset 없이 recovery를 수행합니다.
   • Demonstration final state와 비교하는 completion check를 거칩니다.
4. Reflection
   • Disjoint block 단위로 RSI를 수행합니다.

주요 결과 [Table 1]

• GPT-6.1-Sol 기반 RoboScript는 task당 demonstration 1개, gradient update 없이 RoboTwin 2.0 50개 task에서 clean 83.6%, randomized 83.2%, 평균 83.4%를 기록했습니다(95% Wilson interval 81.0–85.6).
• 50 demos로 학습한 최강 baseline 4D-WAM(평균 61.7%, randomized 41.8%)보다 21.7 points 높습니다.
• Retention(randomized/clean)은 RoboScript가 95.2–100.8%인 반면, trained policy는 최대 65.1%(π0.5)에 그칩니다.
• Fine-tuned VLA를 사용하는 HarnessVLA(randomized 58.4%)보다 24.8 points 높습니다.
• Lightweight 모델인 DeepSeek-V4.1-Flash(78.1%)와 GPT-5.6-Luna(77.9%)도 모든 trained policy를 상회합니다. 즉 성능이 foundation model capability에 따라 scaling됩니다.

Table 1 — 1 demo 기반 RoboScript가 50 demos로 학습된 VLA/WAM 대비 성능 및 retention에서 우위임을 보여주는 핵심 결과 표

Failure analysis

• Knowledge failure는 clean 37건, randomized 38건으로 거의 변하지 않았습니다.
• Randomization에서의 실패는 epistemic이 아니라 physical 원인이 주를 이룹니다.

Ablation (10 tasks)

조건	성능	비교
World 없이 demonstration만으로 memory 작성	69.0%	Full 78.5% (p=0.003)
Demonstration 없이 rehearsal	56.5%	Relearned full 86.0%
Recovery 제거	78.5% → 69.0%	—
Privileged supervision 제거	86.5%	Relearned full 86.0%와 동등

• 마지막 결과는 성능이 privileged information에 의존하지 않음을 보여줍니다.

RSI와 cost

• 17개 weak task에서 guidance의 net gain은 라운드별로 +18, +8, +4 episodes였습니다.
• 전체 학습과 1,000 episodes 평가 비용은 다음과 같습니다.
  • GPT-5.6-Luna: 308 USD
  • GPT-6.1-Sol: 1,911 USD

Real robot

• Simulated ALOHA에서 학습한 memory를 lightweight adapter로만 remapping하여 dual-arm PiPER에 적용했습니다.
• 결과는 Click Bell 10/10, Grab Roller 7/10, Move Playingcard Away 7/10, Stack Bowls Two 6/10입니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문은 world가 loop 안에 있으면 robot이 manipulation task를 weights가 아닌 context로도 trained policy 이상으로 학습할 수 있음을 보였습니다.

• Semantic Task Memory는 visual distribution shift, foundation model 교체, cross-embodiment(sim→real) 상황에서 retraining 없이 transfer됩니다.
• Readable context이므로 reflection을 통한 recursive self-improvement도 가능합니다.

시사점

• 대규모 demonstration 수집과 gradient training에 의존하던 robot learning 패러다임에 "simulator = robot의 terminal"이라는 agent-centric 대안을 제시합니다.
• Foundation model의 발전이 곧 robot 성능 향상으로 이어지는 구조를 보여줍니다.

한계

• Episode당 약 54.7 model calls가 필요해 inference가 느립니다.
• API 품질 변동에 영향을 받습니다.
• Deformable object와 tightly coordinated bimanual contact task는 아직 어렵습니다.

향후 embodied tool 사용에 특화된 agent-centric foundation model과 learned world model 기반 rehearsal로 발전할 여지가 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.