[논문리뷰] Paint What You See: Benchmarking Dexterous Visual Tool Use in Multimodal Agents

링크: 논문 PDF로 바로 열기

저자: Shudong Liu, Dongyang Chen, Enci Zhang, Jinwei Liang, Zheng Ma, Lewei Lu et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Dexterous Visual Tool Use: 모델이 시각적 증거로부터 도구 파라미터를 추론하고, 이 파라미터가 최종 결과에 직접적으로 영향을 미치는 fine-grained, closed-loop parameterized visual action을 의미합니다.
• EASEL: Dexterous Visual Tool Use 능력을 평가하기 위해 제안된 벤치마크로, 주로 reference-guided visual reconstruction과 semantic tasks를 통해 에이전트의 정밀한 시각 조작 능력을 측정합니다.
• Brush_stroke action: EASEL 벤치마크에서 사용되는 파라미터화된 액션으로, quadratic Bézier curve를 정의하는 경로 파라미터 및 반경, 불투명도, 색상 등의 외형 파라미터를 포함한 총 13개의 continuous normalized parameters로 구성됩니다.
• Result Quality: 에이전트의 최종 시각적 출력이 목표를 얼마나 잘 충족하는지를 측정하는 지표로, reconstruction task에서는 Final Similarity가 주요 순위 측정 지표로 사용됩니다.
• Trajectory Quality: 에이전트가 action sequence 전반에 걸쳐 intermediate feedback을 어떻게 사용하는지 진단하는 지표로, Similarity@50%, Trajectory AUC, Best Similarity, Final-Best Gap 등이 포함됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 multimodal agents가 external tools를 통해 complex digital environments에서 작업을 수행하는 능력이 증가함에도 불구하고, dexterous visual tool use라는 핵심적이지만 잘 탐구되지 않은 역량에 대한 평가가 부족하다는 점을 지적합니다. 기존 에이전트 벤치마크들은 web navigation, GUI operation, software engineering 등에서 precision-tolerant한 상호작용에 중점을 두어, action이 관대한 bounding region 내에 있으면 성공으로 간주되어 정밀한 spatial control을 엄격하게 요구하지 않습니다. 또한, visual search, region annotation, pixel-level segmentation과 같은 시각 도메인의 기존 접근 방식들은 시각적 결과물을 직접 생성하기보다는 이해를 돕거나 실행을 external segmentation 및 generative models에 위임하여, 에이전트가 결과물을 직접 형성하는 action parameters를 정밀하게 제어할 필요가 없었습니다 [cite: 1, Figure 1]. 이러한 한계점들로 인해 fine-grained visual understanding을 precise execution parameters로 직접 변환하여 시각적 콘텐츠를 조작하는 fine-grained, closed-loop parameterized visual action 능력을 평가할 수 있는 새로운 벤치마크의 필요성이 제기되었습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 dexterous visual tool use를 평가하기 위해 reference-guided visual reconstruction을 주 task로 하는 EASEL 벤치마크를 제안합니다. 에이전트는 reference image와 current canvas를 관찰한 후, brush_stroke action을 JSON 형식으로 출력하며, renderer는 이를 통해 canvas를 업데이트하는 closed-loop refinement 방식으로 진행됩니다 [cite: 1, Figure 2]. EASEL은 reconstruction task 외에도 region annotation, handwriting, path planning과 같은 semantic tasks를 포함하여 동일한 parameterized-action interface를 통해 에이전트의 역량을 다각적으로 탐색합니다. 또한, trajectory-level supervision의 효과를 조사하기 위해 stroke-based rendering trajectories를 next-action supervision 샘플로 변환하여 440k개의 데이터셋인 EASEL-Data를 구축하고, 이를 활용하여 Qwen3.5-9B 모델을 fine-tuning한 EASEL-9B를 제시합니다.

주요 실험 결과에 따르면, 평가된 25개 multimodal agents는 EASEL 벤치마크에서 전반적으로 저조한 성능을 보였으며, reconstruction similarity는 0.40–0.54 범위에서 bottleneck 현상을 보였습니다. Trajectory diagnostics는 모델들이 closed-loop instability 문제를 겪고 있음을 드러냈는데, 이는 초기 단계에서 성능이 saturate되거나 peak 이후 degrade되는 양상으로 나타났습니다 [cite: 1, Figure 4]. 예를 들어, Gemini 3.1 Pro는 Final Similarity에서 0.535로 가장 우수한 성능을 보였지만, 초기 단계 이후 plateau 현상을 보였습니다. 반면, GPT-5.5는 F-B Gap이 0.073으로 나타나 post-peak degradation 경향을 보였습니다. EASEL-9B는 EASEL-Data를 통한 trajectory supervision 학습을 통해 Qwen3.5-9B base model 대비 Final Similarity에서 +0.027 향상된 0.459를 달성하여 relative 6.3%의 성능 향상을 보였으며, 전체 평가 모델 중 3위를 기록했습니다. 특히, semantic tasks에서는 reconstruction metrics만으로는 파악하기 어려운 capability boundaries가 드러났는데, GPT-5.5는 Simple Maze task에서 perfect score를 달성하며 closed-loop self-correction 능력을 보여주었습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 precision-critical, closed-loop parameterized visual action을 operationalize하는 EASEL 벤치마크를 성공적으로 제시하며, 기존 answer-only QA 및 high-level tool-use benchmarks에서 간과되었던 multimodal agents의 핵심적인 약점을 드러냈습니다. 연구 결과, 현재 모델들은 corrective feedback을 효율적으로 활용하지 못하고 early plateau되거나 initial gains 이후 degrade되는 경향을 보인다는 것이 명확히 밝혀졌습니다. EASEL-Data와 two-stage curriculum으로 훈련된 EASEL-9B는 base model 대비 relative 6.3%의 성능 향상을 이루었으며, 이는 early-phase training이 성능 향상의 대부분을 설명하고 fine-grained visual perception을 개선함을 시사합니다. 이 연구는 medical annotation, CAD sketching, diagram authoring, embodied manipulation과 같은 응용 분야에서 요구되는 fine-grained visual manipulation이 가능한 에이전트 개발을 위한 중요한 기반을 마련하며, outcome-based optimization, reinforcement learning, planning methods와 같은 미래 연구 방향에 시사하는 바가 큽니다.

Figure 1 — 시각 작업 실행 접근 방식 비교

Figure 2 — EASEL 벤치마크 개요

Figure 3 — EASEL-Data 구축 파이프라인

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.