[논문리뷰] SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yang Zhou, Zixuan Huang, Sunzhu Li, Zhuo Yang, Chen Zhang, Shunian Chen, Caijun Yan, Jianyao Xu, Shunyu Liu, Weijie Fu, Peiliang Li, Xiaozhi Chen, Yuxiang Cai

1. Key Terms & Definitions (핵심 용어 및 정의)

• Spatial Tools: Locate, Segment, Depth, Pose와 같이 specialist vision model에 기반하여 미세한 시각적 증거(fine-grained visual evidence)를 제공하는 도구 인터페이스.
• Agentic Fine-Tuning: Cold-Start SFT와 Agentic RL을 사용하여 모델이 도구 사용 정책(tool-use policy), 계획 수립, 결과 활용 능력을 학습하도록 최적화하는 과정.
• Capability Internalization: 성공적인 도구 사용 궤적(trajectory)을 언어화(verbalization)하여, 모델이 외부 도구 없이도 직접적인 추론(direct reasoning)을 통해 specialist의 지각 능력을 수행하도록 내재화하는 프로세스.
• SpatialCLI-Bench: Localization, segmentation, depth, pose 등 복합적인 공간 지각 추론 능력을 평가하기 위해 구축된 516개 문항의 6지선다 벤치마크.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

일반적인 Vision-Language Models(VLMs)는 전반적인 과업 수행에는 능숙하나, 공간적 관계나 미세한 시각적 세부 사항을 파악하는 능력은 부족하다는 근본적인 문제가 존재한다. 반면, specialist vision model은 정밀한 시각적 출력을 제공할 수 있으나, 과업의 맥락을 이해하고 적절한 도구를 선택하거나 도구의 결과를 의사결정에 통합하는 능력이 결여되어 있다. 본 연구는 이러한 capability mismatch를 해결하고자 한다 [Figure 1]. 저자들은 일반적인 VLMs가 외부 도구를 사용하며 학습하고, 최종적으로는 도구 없이도 공간 추론이 가능하도록 내재화하는 통합 프레임워크를 제안한다.

Figure 1 — SpatialCLI의 개념적 비교

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Call, Learn, Internalize의 3단계로 구성된 SpatialCLI 프레임워크를 제안한다 [Figure 2]. 첫째, Call 단계에서는 specialist vision model을 공간 도구로 도입하여 inference-time augmentation을 수행한다. 둘째, Learn 단계에서는 Cold-Start SFT로 기초적인 도구 사용 패턴을 학습시키고, Agentic RL을 통해 보상 기반의 도구 활용 최적화를 수행한다. 마지막으로, Internalize 단계에서는 성공적인 도구 사용 궤적을 명시적인 시각적 추론 체인으로 변환하고, 이를 바탕으로 모델이 외부 도구 없이도 추론할 수 있도록 Dual-View Capability Internalization을 적용한다.

Figure 2 — SpatialCLI의 전체 프레임워크

성능 평가 결과, SpatialCLI-8B 모델은 MindCube 벤치마크에서 도구 사용 시 기존 29.3%에서 84.6%로 정확도가 대폭 향상되었으며, 이는 GPT-5.6 Sol의 도구 사용 성능(72.1%)을 상회하는 수치이다 [Table 1]. 더욱이 internalization 과정을 통해 도구를 사용하지 않는 상황에서도 73.8%의 높은 성능을 유지하며, 외부 도구 사용과 자체적인 추론 능력이 공존할 수 있음을 입증하였다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 도구 사용을 통한 외부 능력의 강화와 해당 능력의 모델 내재화를 결합함으로써 physical-world native foundation model로 나아가는 새로운 경로를 제시한다. SpatialCLI는 복합적인 공간 추론 과업에서 기존 모델들의 한계를 극복하고, 도구 사용 가능 여부와 관계없이 높은 성능을 유지하는 범용적인 솔루션을 제공한다. 본 연구 결과는 향후 embodied agent의 지각 및 추론 설계에 있어 중요한 학술적·기술적 이정표가 될 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.