[논문리뷰] RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents

링크: 논문 PDF로 바로 열기

저자: Jingsong Liang, Shuhao Liao, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• System-as-Policy: 개별 모델 구성 요소(memory, skill 등)의 최적화를 넘어, 전체 에이전트 시스템을 단일 정책으로 간주하고 진화시키는 핵심 프레임워크 개념입니다.
• Context Surface: 관찰 데이터와 경험을 관리하는 공간으로, 에피소드 내부의 활성 컨텍스트(active internal context)와 에피소드 간 지속적인 파일시스템 메모리(persistent file-system memory)를 포함합니다.
• Skill Surface: 원자적 기술(atomic skills), 재사용 가능한 구성(reusable compositions), 실패 조건부 복구(failure-conditioned recovery)로 구성된 계층적 행동 시스템입니다.
• Semantic Interface: 로봇의 신체적 특성에 종속되지 않는 의사결정 단위와 로봇별 구체적인 실행(embodiment-specific execution)을 분리하여, 진화된 시스템이 다른 하드웨어로 전이되도록 돕는 인터페이스입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 Embodied Agents가 파운데이션 모델의 잠재력을 온전히 활용하지 못하고, 특정 컴포넌트만 파편적으로 최적화하는 한계에 직면했다는 점을 지적합니다. 기존 방식은 인터랙션 과정에서 발생하는 실패 경험을 시스템의 영구적이고 검증된 개선으로 전환하지 못하며, 이로 인해 동일한 약점이 에피소드 전반에 반복됩니다. 저자들은 파운데이션 모델 자체의 가중치를 수정하는 대신, 모델을 둘러싼 System-as-Policy를 진화시켜야 한다고 주장합니다. 이를 통해 단순히 계획을 수립하는 것을 넘어, 실행 이력을 기반으로 스스로 시스템을 수정하고 개선하는 자가 학습 에이전트 프레임워크가 필요합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 실행 이력(execution traces)을 분석하여 시스템의 결함을 진단하고, 이를 바탕으로 Context와 Skill 두 표면에서 수정 사항을 생성 및 검증하는 RoboFoundry를 제안합니다 [Figure 2]. 제안 방법론은 에이전트가 실패를 진단(diagnosis), 개입(intervention), 검증(validation), 홍보(promotion)하는 순환 루프를 통해 타겟화된 시스템 업데이트를 수행하는 구조를 가집니다 [Figure 2]. 또한, Semantic Interface를 통해 이질적인 로봇 간의 성능 전이를 보장합니다. 실험 결과, RoboFoundry는 EmbodiedBench에서 GPT-5.5의 성능을 27.8% 향상시켰으며, Qwen3.7-Plus 모델을 사용하더라도 frontier 모델 수준의 성능을 달성하였습니다 [Table 1]. 또한, RoboMemArena에서 긴 호흡의 기억력이 필요한 과제 수행 시 기존 베이스라인 대비 최소 39.0% 이상의 성능 우위를 보였으며, LIBERO-PRO의 환경 변화 및 태스크 섭동(perturbation) 환경에서도 타 모델 대비 탁월한 강건성을 입증하였습니다 [Table 4].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 파운데이션 모델 기반의 에이전트가 시스템 전체를 하나의 진화하는 정책으로 다룰 때 가질 수 있는 폭발적인 잠재력을 입증하였습니다. RoboFoundry는 데이터 효율적인 시스템 진화를 통해 학습 후 실전 환경(real-world)에서도 성공적인 제로샷 전이 및 온라인 진화를 보여주었습니다. 이 연구는 향후 로봇 에이전트가 정적인 정책 모델에서 벗어나, 지속적인 피드백 루프를 통해 스스로 복잡한 환경에 적응하고 고도화되는 방향으로 나아가는 중요한 학술적 이정표가 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.