[논문리뷰] MuSEAgent: A Multimodal Reasoning Agent with Stateful Experiences

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

메타데이터

저자: Shijian Wang, Jiarui Jin, Runhao Fu, Zexuan Yan, Xingjian Wang, Mengkang Hu, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Stateful Experience : 기존의 고정된 trajectory 단위 기억 방식에서 벗어나, 행동의 결과와 맥락을 원자 단위의 state-action 쌍으로 추상화한 데이터.
• Hindsight Reasoning : 완료된 trajectory를 사후적으로 평가하여 어떤 행동이 효과적이었는지 분석하고, 이를 통해 재사용 가능한 decision guidance를 추출하는 기법.
• Compositional State Representation : multimodal 상태를 다각도(Perceptual intent, Tool execution, Interaction context 등)로 분해하여 다중 semantic viewpoint에서 인덱싱하는 방식.
• Deep-and-Wide Search : state-aware experience를 효과적으로 활용하기 위해 retrieval breadth(Wide Search)와 반복적인 viewpoint refinement(Deep Search)를 조합한 검색 전략.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존의 multimodal agent는 전체 interaction history를 기억하거나 trajectory 단위로 과거 경험을 검색하는 방식을 주로 사용해왔습니다. 그러나 visual 입력은 정보 밀도가 낮아 전체 이력을 참조할 경우 문맥적 노이즈가 발생하며, task 전체의 유사성보다 세부적인 reasoning 단계에서의 tactical knowledge가 더 중요함에도 이를 포착하지 못하는 한계가 있었습니다. 특히, 복잡한 visual reasoning 환경에서는 intermediate reasoning bottleneck을 해결하기 위한 정교한 state-level 지침이 필수적입니다. 저자들은 이러한 한계를 극복하기 위해 agent의 reasoning 과정을 Stateful Experience 기반의 MDP(Markov Decision Process)로 재정의하는 새로운 프레임워크를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

제안 방법론인 MuSEAgent 는 크게 두 단계로 구성됩니다. 첫째, Experience Abstraction 단계에서는 hindsight reasoning을 통해 trajectory를 atomic한 state-action 쌍으로 분해하고, Quality Score 가 높은 경험만을 필터링하여 Experience Bank 를 구축합니다. 둘째, Experience Exploitation 단계에서는 compositional state representation을 활용하여 다양한 semantic viewpoint에서 정보를 검색합니다. 이를 통해 Wide Search 로는 광범위한 패턴을, Deep Search 로는 iterative refinement를 통한 정밀한 guidance를 획득합니다 [Figure 1].

실험 결과, MuSEAgent 는 기존 trajectory-level 방식 대비 뚜렷한 성능 향상을 보였습니다. Qwen3-VL-32B-Instruct 모델 기준 평균 정확도에서 약 8%의 향상을 달성하였으며, 특히 fine-grained visual perception 과제에서 그 효과가 극대화되었습니다. 또한, 경험이 없는 ReAct baseline 대비, Deep Search 를 최대 3회 반복하고 매 단계 3개의 경험을 검색할 때 HR-Bench 등에서 유의미한 성능 최적화가 나타남을 확인하였습니다 [Figure 2].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 multimodal agent의 reasoning을 위해 trajectory-level을 넘어선 state-level의 경험 학습 프레임워크를 성공적으로 도입하였습니다. MuSEAgent 는 불필요한 contextual noise를 줄이면서도 재사용 가능한 추론 지식을 효과적으로 제공합니다. 특히 out-of-distribution 환경에서도 성공적으로 일반화된 추론 스킬을 발휘하여 전이 학습의 가능성을 입증하였습니다. 이 연구는 향후 복잡한 도구 활용이 필요한 agentic 시스템의 지능 향상에 핵심적인 설계 지침을 제공할 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 1",
    "image_url": "https://arxiv.org/html/2603.27813v1/x1.png",
    "caption_kr": "MuSEAgent 프레임워크 개요"
  },
  {
    "figure_id": "Figure 2",
    "image_url": "https://arxiv.org/html/2603.27813v1/x2.png",
    "caption_kr": "검색 깊이 및 너비의 확장 효과"
  },
  {
    "figure_id": "Figure 3",
    "image_url": "https://arxiv.org/html/2603.27813v1/x4.png",
    "caption_kr": "경험 추상화 및 검색 사례"
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.