[논문리뷰] MolmoWeb: Open Visual Web Agent and Open Data for the Open Web

링크: 논문 PDF로 바로 열기

메타데이터

저자: Tanmay Gupta, Piper Wolters, Zixian Ma, Peter Sushko, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• MolmoWebMix : 웹 에이전트 학습을 위해 구축된 대규모의 다양성을 갖춘 데이터셋으로, 합성 및 인간 데이터, GUI 인식 데이터를 포함합니다.
• MolmoWeb : HTML이나 API 접근 없이 오직 시각적 인터페이스(screenshot)만을 사용하여 웹 탐색을 수행하는 오픈 가중치(Open-weight) 기반의 VLM 웹 에이전트입니다.
• AxTree (Accessibility Tree) : 웹페이지의 구조와 요소 정보를 담고 있는 트리 구조 데이터로, MolmoWebMix의 합성 데이터 생성 과정에서 주로 활용됩니다.
• SoM (Set-of-Marks) : GUI 내 객체들에 시각적 마커를 부착하여 모델이 객체를 더 쉽게 탐지하고 인터랙션하게 만드는 프롬프팅 기법입니다.
• Pass@k : $k$번의 시도 중 최소 1번 이상 과업을 성공할 확률을 의미하며, 테스트 시점의 컴퓨팅 스케일링 성능을 측정하는 지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 고성능 웹 에이전트들이 폐쇄적인 모델과 불투명한 학습 데이터에 의존하여 과학적 재현성과 투명성을 저해하는 문제를 해결하고자 합니다. 현재 대부분의 우수한 웹 에이전트는 학습 데이터와 레시피가 비공개된 독점적 서비스로 제공되어, 학계에서의 연구 진전과 auditable behavior(감사 가능한 동작) 구현에 한계가 있습니다. 저자들은 개방형 웹을 위한 에이전트는 '공개된(open)' 방식으로 구축되어야 한다고 강조하며, 이를 위한 완전한 오픈 소스 데이터셋과 모델 패밀리를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Instruction-conditioned visual-language action policy인 MolmoWeb 을 제안하며, 이를 학습시키기 위한 MolmoWebMix 데이터셋을 구축하였습니다. MolmoWeb 은 Molmo2 아키텍처를 기반으로 하며, 웹 스크린샷과 작업 지시어를 입력받아 즉각적인 브라우저 액션을 출력합니다 [Figure 1]. MolmoWebMix 는 100K 이상의 합성 데이터, 30K 이상의 인간 시연, 그리고 GUI 인식 및 정밀 grounding 데이터 등으로 구성됩니다 [Figure 2, Figure 3, Figure 4]. 실험 결과, MolmoWeb-8B 는 기존의 오픈 가중치 모델인 Fara-7B , UI-TARS-1.5-7B 등을 능가하는 성능을 보였으며, GPT-4o 기반의 SoM 에이전트들보다 뛰어난 성과를 기록했습니다. 또한, 테스트 시점의 병렬 Rollouts를 통해 WebVoyager 벤치마크에서 94.7%의 Pass@4 를 달성하는 등 성능을 대폭 향상시켰습니다 [Figure 6].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 완전한 오픈 소스 기반의 웹 에이전트 데이터와 모델 패밀리인 MolmoWeb 을 성공적으로 제시하였습니다. 폐쇄적인 기존 모델들과 달리 학습 데이터와 파이프라인 전체를 공개함으로써 웹 에이전트 분야의 재현성을 확보하고 연구 생태계를 가속화할 것으로 기대됩니다. 시각적 인터페이스 기반의 에이전트가 규모가 더 큰 독점 모델들보다 우수한 성능을 낼 수 있음을 입증함으로써, 향후 효율적이고 투명한 에이전트 설계 방향을 제시하였습니다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 1",
    "image_url": "https://arxiv.org/html/2604.08516/2604.08516v1/x2.png",
    "caption_kr": "MolmoWeb 전체 구조"
  },
  {
    "figure_id": "Figure 2",
    "image_url": "https://arxiv.org/html/2604.08516/2604.08516v1/x3.png",
    "caption_kr": "MolmoWebMix 데이터셋 구성"
  },
  {
    "figure_id": "Figure 6",
    "image_url": "https://arxiv.org/html/2604.08516/2604.08516v1/x7.png",
    "caption_kr": "Pass@k 테스트 성능 그래프"
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.