[논문리뷰] See2Think: Do Multimodal Models Really Use Intermediate Visual States?

링크: 논문 PDF로 바로 열기

저자: Siyu Yan, Zhuoran Yan, Haiying Xu, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• See2ThinkBench: 1,200개의 visually dependent한 문제를 포함하여 모델의 시각적 추론 능력을 평가하는 통합 벤치마크.
• VAoT (Visual Action-of-Thought): 텍스트 사고, 시각적 행동(Visual Action), 렌더링된 시각적 상태(Rendered State)를 순차적으로 기록하는 추론-시간 프로토콜.
• Action Relevance: 모델이 생성한 시각적 행동이 과제 해결에 얼마나 적절한지를 측정하는 지표.
• Render Faithfulness: 렌더링된 이미지가 모델의 의도된 시각적 행동을 얼마나 정확하게 반영하는지 측정하는 지표.
• Feedback Uptake: 후속 추론 과정에서 렌더링된 시각적 정보를 얼마나 실제로 활용하는지 측정하는 지표.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 Multimodal Large Language Models(MLLMs)가 추론 과정에서 생성하는 중간 시각적 상태가 실제로 문제 해결에 기여하는지 검증하는 것을 목표로 한다. 최근 많은 모델이 스케치, 주석, 시각적 도구 등을 사용하지만, 이러한 시각적 증거가 단순히 장식적인 것인지 아니면 진정한 추론의 핵심인지는 불분명하다. 기존의 벤치마크들은 주로 최종 답변의 정확도에만 집중하거나, 텍스트만으로 해결 가능한 단편적인 데이터를 포함하고 있어 모델의 중간 시각적 사고 과정을 진단하는 데 한계가 있다. 저자들은 이러한 한계를 극복하기 위해 제안된 시각적 행동이 과제와 관련이 있는지, 렌더링이 정확한지, 그리고 모델이 해당 피드백을 활용하는지를 단계별로 분리 평가하는 체계적인 프레임워크가 필요하다고 판단하였다 [Figure 1].

Figure 1 — See2Think의 핵심 진단 프레임워크와 기존 평가 방식과의 차이점을 보여주는 도식.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 See2Think 프레임워크를 통해 추론 과정에서의 시각적 행동을 제어하고 진단하는 VAoT 프로토콜을 도입하였다. 이 방법론은 일반적인 CoT와 달리 렌더링을 생략한 VAoT-NoRender와 태스크와 관련된 정보를 왜곡한 VAoT-WrongRender 설정을 포함하여, 모델의 행동 의존성을 엄밀하게 검증한다. 주요 실험 결과에 따르면, GPT-5.5, GPT-o3, Gemini 3.5 Flash, Qwen3-VL-32B-Instruct 등 대표 모델들을 평가한 결과, 중간 시각적 추론의 효율성은 모델과 환경(2D, 3D, 실세계)에 따라 크게 달라지는 것으로 나타났다 [Table 2]. 특히, 시각적 행동을 선택하는 Action Relevance는 전반적으로 높게 나타났으나, 렌더링된 상태의 정확도를 의미하는 Render Faithfulness가 모델 추론의 주요 병목 현상으로 확인되었다 [Table 3]. 또한, corrupted feedback(WrongRender)을 적용했을 때 3D scene 환경에서는 정확도가 10퍼센트 포인트 이상 하락하는 등, 모델이 시각적 상태에 강한 행동적 의존성을 보임을 수치로 증명하였다 [Table 7].

Table 2 — 다양한 모델과 설정에 따른 태스크별 정확도 비교 결과를 보여주는 핵심 지표.

Table 3 — Action Relevance, Render Faithfulness, Feedback Uptake에 대한 모델별 성능 진단 결과.

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 모델이 생성한 중간 시각적 상태가 항상 성능 향상을 보장하지는 않으며, 'Thinking with images' 과정에서 시각적 상태의 유용성과 행동적 의존성이 분리되어야 함을 시사한다. See2Think 프레임워크는 MLLM의 시각적 추론을 단순한 결과 중심 평가에서 프로세스 진단 중심으로 전환하는 중요한 이정표를 제시한다. 이러한 연구 결과는 향후 더 신뢰 가능하고 faithful한 멀티모달 추론 시스템을 설계하는 데 필요한 진단 도구로 활용될 것이며, 모델 개발자가 시각적 인지 능력의 병목 지점을 파악하고 최적화하는 데 기여할 것이다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.