[논문리뷰] From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Quanyu Long, Xiao Chen, Jianda Chen, Haozhen Zhang, Qisheng Hu, Jianzhu Bao, Wenya Wang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Trace2Env: 기존 환경의 원본 코드나 실행 인프라 없이, 오직 과거의 상호작용 기록(Traces)만을 활용하여 재사용 가능한 환경을 구축하는 학습 불필요(Learning-free) 프레임워크입니다.
• Environment Worldbook: Trace2Env가 구축하는 데이터 구조로, 환경의 액션 인터페이스를 정의하는 Schemas, 실제 전이 기록인 Grounded Evidence, 그리고 재사용 가능한 동작 규칙인 Induced Abstractions를 포함합니다.
• World Model Agent: 전통적인 LLM 프롬프팅 방식과 달리, 외부화된 Environment Worldbook과 현재의 에피소드 상태(Episodic State)를 능동적으로 참조하여 환경의 반응을 예측하는 특화된 에이전트입니다.
• Persistent Episode Workspace: 환경의 일반적인 동작 지식과 현재 에피소드에서 에이전트의 행동으로 인해 발생한 변화를 분리하여 관리하는 공간입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 복잡한 소프트웨어 환경이나 내부 시스템을 복제할 때 겪는 원본 코드 및 인프라 접근성 문제를 해결하기 위해, 기록된 상호작용 트레이스에서 환경 동작을 학습하는 새로운 패러다임을 제안합니다. 기존의 Language World Models는 환경 정보와 과거 이력을 단순히 프롬프트로 나열하여 긴 호흡의 상호작용에서 상태 변화를 일관되게 유지하는 데 한계가 있었습니다 [Figure 1]. 특히, 특정 행동이 즉각적인 출력 변화를 일으키지 않더라도 미래의 상호작용에 영향을 미치는 잠재적 상태 변화를 예측하는 능력이 부족하다는 점이 주요 해결 과제입니다. 이에 저자들은 에이전트가 환경 자체를 시뮬레이션하고, 능동적으로 환경 지식을 참조하며 상태 변화를 관리하는 Agentic Language World Models를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

Trace2Env는 오프라인에서 트레이스를 분석하여 Environment Worldbook을 생성하고, 온라인 롤아웃 과정에서 이를 활용하여 상호작용을 시뮬레이션합니다 [Figure 2]. 오프라인 과정에서는 행동과 결과를 정렬하여 Schemas, Grounded Evidence, Induced Abstractions를 추출하며, 이는 환경의 일반적인 동작 스펙을 정의합니다. 온라인 시뮬레이션 중에는 월드 모델 에이전트가 Environment Worldbook과 에피소드 상태를 능동적으로 검사하여 상태 변화를 포함한 다음 관찰값(Next-observation)을 제안합니다. 이 제안은 별도의 검증 단계(Validation Gate)를 거쳐 커밋됨으로써, 장기적인 일관성을 보장합니다. 실험 결과, 9개 환경에서 Trace2Env는 기존의 Direct Prompting 대비 성능이 크게 향상되었으며, gpt-5.6-sol 백본에서 평균 점수가 75.94점을 기록하여 69.51점인 Baseline 대비 우위를 점했습니다 [Table 1]. 또한, 다중 턴 상호작용에서 Consistency Ratio를 개선하여 실제 환경에서의 동작을 보다 정확하게 보존하는 성능을 입증했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 환경 시뮬레이션을 단순한 프롬프트 기반의 Next-observation 예측이 아닌, 에이전트의 능동적인 추론과 상태 관리 작업으로 재정의함으로써 신뢰성 높은 환경 복제 방안을 제시합니다. Trace2Env는 원본 시스템의 코드가 없더라도 대규모 트레이스만으로 실제와 유사한 상호작용 환경을 구축할 수 있음을 보여주었습니다. 이러한 방식은 학계와 산업계에서 에이전트 학습 및 평가를 위한 비용 효율적이고 강력한 대안으로 작용할 것으로 기대됩니다. 향후 연구는 더욱 복잡한 환경에서의 장기적인 상태 지속성과 다양한 도메인으로의 확장성에 집중할 예정입니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 트레이스에서 시뮬레이터로의 전환

Figure 2 — Trace2Env 전체 프레임워크

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.