[논문리뷰] OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software

링크: 논문 PDF로 바로 열기

메타데이터

저자: Dingyuan Dai, Heli Qi, Lei Liu, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• OSWorld-Science: 전문 과학 소프트웨어 작업 수행을 위해 구축된 벤치마크 환경으로, 도메인 전문가와 협력하여 설계된 과학적 과제와 자동화된 평가 시스템을 제공합니다.
• Computer-using Agents (CUA): 시각적 인터페이스를 인식하고, 자연어 지시사항을 추론하며, 마우스와 키보드 조작을 통해 소프트웨어를 자율적으로 사용하는 모델입니다.
• Evidence-based Evaluators: 화학식, 분자 구조, 시각화 자료, 통계 수치 등 과학적 작업 결과물(Artifacts)의 유효성을 정량적으로 검증하는 평가 프레임워크입니다.
• Agent Harness: VLM(Visual Language Models)을 구동하기 위한 인프라로, 모델 어댑터, 상호작용 제어기(Loop controller), 궤적 로깅(Trajectory logging) 기능을 포함합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 기존의 범용 CUA 벤치마크가 과학 연구 분야의 특수한 인터페이스와 복잡한 워크플로우를 충분히 평가하지 못한다는 한계를 극복하기 위해 설계되었습니다. 과학적 소프트웨어는 고도의 도메인 지식과 정밀한 인터페이스 조작을 요구하며, 단순히 질문에 답하는 LLM 에이전트와는 차별화된 능력이 필수적입니다. 기존 연구들은 다양한 과학적 결과물(Artifacts)을 일관되게 평가하는 체계와 에이전트 성능에 미치는 Harness 디자인의 영향력을 분석하는 데 부족함이 있었습니다. 이에 본 논문은 146개의 고품질 과학 과제를 포괄하는 OSWorld-Science를 제안하여 과학적 발견을 위한 자동화 시스템의 신뢰성을 검증하고자 합니다 [Figure 1].

Figure 1 — OSWorld-Science 프레임워크 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 과학적 가치가 높은 7개 도메인(생물학, 의학, 화학, 물리학 등)을 선정하고, 인간 전문가와 AI의 협업 설계를 통해 과제를 정의하는 프레임워크를 제안합니다. 평가 방식은 단순 성공/실패를 넘어 생성된 결과물의 과학적 유효성을 검사하며, 불완전한 결과에 대해서도 부분 점수(Partial credit)를 부여하는 Execution-based evaluator를 도입했습니다 [Figure 1]. 실험 결과, 12개의 최신 VLM 모델을 비교 분석한 결과 최고 성능을 보인 Claude Fable 5.1이 약 73.7%의 평균 성공률을 기록했으며, 과제당 평균 API 비용은 $6.5로 나타났습니다 [Figure 3]. 반면, 성능이 가장 낮은 모델의 경우 성공률이 크게 떨어지는 등 도메인별 난이도 격차가 뚜렷하며, 특히 화학과 같은 전문 분야에서는 여전히 최고 성능 모델조차 완전한 성공에 도달하지 못하는 한계가 관찰되었습니다 [Figure 3].

Figure 3 — 모델 성능 및 비용 비교 분석

4. Conclusion & Impact (결론 및 시사점)

본 연구는 과학 소프트웨어 도메인에서 CUA의 성능을 객관적으로 측정할 수 있는 통합 프레임워크를 제공하여 해당 분야의 표준을 제시합니다. 연구 결과는 단순한 모델 규모 확장이 아닌, 에이전트 Harness의 효율성과 시각적 인터페이스 제어 능력 개선이 과학적 워크플로우 자동화에 필수적임을 시사합니다. 향후 본 벤치마크는 더 강력한 과학 에이전트 개발을 위한 이정표가 될 것이며, 연구 커뮤니티가 과학적 탐구 자동화를 가속화하는 데 크게 기여할 것입니다.

Figure 2 — 과제 도메인 및 소프트웨어 구성

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.