[논문리뷰] Omni-Decision: Evidence-Ledger Planning for Omni-Modal Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Yuhao Wang, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Evidence-Ledger Planning: 대화 기록(Dialogue History) 대신 명시적인 Evidence Ledger를 사용하여 수집된 증거, 미해결 과제, 갈등 정보를 관리하는 계획 프레임워크입니다.
• Evidence Ledger: 과제 수행 과정에서 필요한 증거 항목(Needs), 확인된 사실(Facts), 증거 원자(Evidence Atoms), 갈등 상황(Conflicts)을 추적하는 구조화된 상태 저장소입니다.
• Critic: 각 멀티모달 관찰(Observation)을 입력받아 Ledger와 비교하여 유효한 내용만을 추출하고, 노이즈를 걸러내는 독립적인 검증 모듈입니다.
• Reducer: Ledger의 유일한 기록자로, Critic이 검증한 데이터를 Ledger에 업데이트하고 상태를 결정적으로(Deterministic) 변경하는 컴포넌트입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 멀티모달 에이전트가 복잡한 증거 탐색 과제 수행 시 겪는 핵심 병목인 '계획(Planning)' 능력 부족 문제를 해결하고자 합니다. 기존 방식은 대화 이력에 노이즈가 많은 멀티모달 관찰 데이터가 무분별하게 누적되어, 모델이 장기적인 계획을 수립하고 의사결정을 내리는 데 큰 방해 요인으로 작용합니다 [Figure 1]. 또한, 제어된 백엔드 실험을 통해 멀티모달 모델의 성능 저하가 감지(Perception)보다 계획(Planning) 단계에서 더 심각하게 발생함을 확인하였습니다. 따라서 노이즈를 배제하고 구조화된 상태 정보를 바탕으로 추론할 수 있는 새로운 에이전트 프레임워크가 필요합니다 [Figure 2].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 에이전트의 persistent context를 순수한 상태 정보인 Evidence Ledger로 대체하고, Critic이 매 단계 관찰 결과를 요약/검증하여 Ledger에 반영하는 Omni-Decision을 제안합니다 [Figure 2]. 이 구조에서 Planner는 누적된 노이즈 대신 compact한 상태를 바탕으로 다음 액션을 결정하며, 수행된 모든 단계는 별도의 수동 주석 없이 Supervised Fine-tuning(SFT) 및 decision-level Reinforcement Learning(RL)의 학습 데이터로 활용됩니다. 실험 결과, Omni-Decision은 OmniGAIA 벤치마크에서 81.4%의 정확도를 달성하여 기존 SOTA 모델을 능가하였습니다 [Table 1]. 또한, Gemini-3.1-Pro 대비 43% 수준의 비용으로 더 높은 성능을 기록했으며, WorldSense 벤치마크에서도 65.0%의 정확도로 최상위 수준의 성능을 입증하였습니다 [Table 5]. 추가적인 백엔드 교체 실험은 계획 능력이 시스템 성능을 결정짓는 핵심 요소임을 정량적으로 증명하였습니다 [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 에이전트의 시스템 레이어를 명시적인 상태 관리 객체로 정의함으로써 멀티모달 에이전트의 계획 병목 현상을 해결하는 효과적인 접근법을 제시합니다. Evidence-ledger planning은 불필요한 노이즈를 제거하여 추론 효율성을 극대화하며, 생성된 실행 궤적을 통해 모델을 자체적으로 개선할 수 있는 선순환 학습 구조를 확립했습니다. 이러한 연구는 산업계 및 학계에서 멀티모달 에이전트의 신뢰성과 효율성을 높이는 중요한 이정표가 될 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — Evidence-ledger 계획 프로세스

Figure 2 — Omni-Decision 제어 루프

Figure 3 — 증거 진행 상황 감사 결과

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.