[논문리뷰] MuseBench: Benchmarking Intent-Level Audiovisual Arts Understanding in MLLMs

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuxuan Fan, Gyusik Seo, Jing Hao, Jaemin Cho, Mohit Bansal, Jaehong Yoon

1. Key Terms & Definitions (핵심 용어 및 정의)

• MuseBench: 시네마, 시각 예술, 무대 예술, 게임 예술 등 4개 영역의 창의적 의도를 평가하기 위해 설계된 포괄적인 벤치마크 데이터셋입니다.
• Intent-Level Understanding: 단순한 시각적 객체 인식을 넘어, 특정 기술적 선택(예: 조명, 프레임워크)이 왜 이루어졌는지에 대한 창작자의 의도를 추론하는 고차원적 이해 능력입니다.
• Video Essays: 전문가의 해설이 포함된 비디오 분석 자료로, MuseBench의 데이터를 구성하는 핵심 소스이며 시각적 증거와 언어적 분석이 시간적으로 정렬되어 있습니다.
• Chance-Adjusted Accuracy (CAA): 단일 선택형 문제에서 모델의 추측으로 인한 성능 편향을 제거하고, 각기 다른 선택지 개수(4~8개)를 가진 문제들 사이의 비교를 가능하게 하는 정규화된 지표입니다.
• Set-based F1: 다중 선택형 문제에서 모델이 정답 집합을 얼마나 정확하게 식별했는지 측정하며, 부분적 일치를 부분적으로 인정하여 정교한 분석 능력을 평가합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 최신 MLLMs가 일반적인 인식 및 추론 태스크에서는 높은 성능을 보이나, 예술적 창작 의도를 해석하는 전문 영역에서는 여전히 유의미한 한계를 보인다는 문제의식에서 출발합니다. 기존 벤치마크들은 주로 화면 내 객체를 식별하거나 사실 관계를 확인하는 수준에 머물러 있어, 감독이나 창작자가 특정 미학적 도구를 선택한 이유와 같은 깊이 있는 예술적 의도를 파악하는 데는 한계가 있습니다 [Figure 1]. 이러한 예술적 분석은 다수의 해석이 공존할 수 있는 개방적 성격을 띠지만, 기존 벤치마크의 고정된 선택지 기반 방식은 이러한 다양성을 충분히 담아내지 못한다는 점이 연구의 주요 동기입니다.

Figure 1 — MuseBench의 구조와 평가 의도

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 전문가의 비디오 에세이를 기반으로 MuseBench 데이터셋을 구축하기 위한 4단계 파이프라인을 제안합니다 [Figure 3]. 이 과정은 비디오 세그멘테이션, 클립 캡셔닝, 질문 생성, 그리고 적대적 방해 요소(Distractor)를 포함한 품질 관리 루프를 포함합니다 [Figure 4]. 평가 방식에 있어서는 단일 선택 문제의 비교 가능성을 높인 CAA와 다중 선택 문제의 복합적인 해석 능력을 평가하는 F1 지표를 도입하였습니다. 실험 결과, 28개의 최신 MLLMs를 대상으로 제로샷 평가를 수행한 결과, 가장 우수한 모델조차 48.29%의 정확도를 기록하여 인간 전문가의 87.18%와 상당한 격차를 보였습니다 [Table 1]. 특히, 모델들은 게임 예술 영역에서 낮은 성능을 보였으며, 다중 선택 문제에서 가장 두드러진 하나의 답만 선택하는 경향이 강해 전체적인 분석적 폭이 좁은 것으로 나타났습니다.

Figure 3 — 데이터 구축 파이프라인

Figure 4 — 품질 관리 전문가 평가 루프

4. Conclusion & Impact (결론 및 시사점)

본 논문은 예술적 이해가 단순한 시각적 인식을 넘어 문화적 맥락과 창작 의도에 대한 깊은 통찰을 필요로 한다는 점을 입증하였습니다. MuseBench를 통해 현재 MLLMs의 예술적 도메인 전문성에 명확한 한계가 있음을 확인하였으며, 이는 단순히 모델 규모를 확장하는 것만으로는 해결하기 어려운 복잡한 인지적 과제임을 시사합니다. 본 연구는 향후 멀티모달 모델이 더욱 풍부하고 창의적인 영역에서 전문가 수준의 해석력을 갖추도록 유도하는 중요한 벤치마킹 표준을 제시할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.