[논문리뷰] SpanCalib-VLM: Calibrated Hallucination Span Detection in Vision-Language Models

링크: 논문 PDF로 바로 열기

저자: Amanuel Gizachew Abebe, Yasmin Moslem et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Visual Hallucinations: Large Vision-Language Models (LVLMs)가 이미지 내용을 잘못 설명하거나, 존재하지 않는 객체를 생성하거나, 속성을 잘못 특징짓는 텍스트를 생성하는 현상.
• SHROOM-Visions Shared Task: 미세한 환각 탐지(fine-grained hallucination detection)를 목표로 하는 태스크로, 환각 텍스트 세그먼트의 문자 수준 스팬 경계(character-level span boundaries)를 식별하고, 잘 Calibrated된 확률 점수(probability scores)를 제공해야 한다.
• Calibration: 모델의 예측된 확률(predicted probabilities)이 실제 발생 확률과 일치하도록 조정하는 과정으로, 특히 현대 신경망의 Miscalibration 및 Overconfidence 문제를 해결하여 예측의 신뢰성을 높인다.
• Multimodal Sequence Tagger (System 1): XLM-RoBERTa-Large 텍스트 인코더와 SigLIP 비전 인코더를 Cross-Attention으로 융합하여, 스팬 탐지(span detection), 확률 Calibration, 오류 분류를 위한 Multi-task Heads를 갖춘 Discriminative 모델이다. 이는 낮은 Latency와 우수한 Calibration을 제공한다.
• Generative VLM (System 2): Qwen3.5-4B를 SHROOM-Visions 데이터셋에 Supervised Fine-tuning(SFT)하여 구조화된 JSON 스팬(structured JSON spans)을 생성하는 Autoregressive 모델이다. 높은 Span IoU를 제공하지만 Overconfidence와 높은 Inference Latency 문제를 가진다.
• Union-Calibrated Fusion: System 2의 Generative VLM에서 제안된 Candidate Span을 System 1의 Calibrated된 확률 분포로 재조정(re-calibrate)하여 최종 예측을 생성하는 앙상블 알고리즘으로, 두 시스템의 강점을 결합한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Large Vision-Language Models (LVLMs)는 Visual Question Answering 및 Multimodal Reasoning 분야에서 상당한 발전을 이루었지만, 여전히 이미지 내용을 잘못 설명하는 Visual Hallucination 문제에 직면해 있다. 기존 Hallucination Detection 접근 방식은 두 가지 주요 패러다임으로 나뉘며 각각의 한계를 가지고 있다. Generative VLM Fine-tuning 방식은 높은 Span IoU를 달성하지만 예측의 Overconfidence와 최대 23초에 달하는 높은 Inference Latency에 시달리며, 실용적인 적용을 어렵게 한다. 반면, Discriminative Sequence Tagging 방식은 결정론적인 속도와 우수한 Calibration을 제공하지만, 보수적인 Span Recall로 인해 Hallucination Span을 충분히 감지하지 못하는 경향이 있다. 이 연구는 이러한 기존 방법론들의 한계점을 극복하고, 정확한 스팬 Localization과 더불어 신뢰성 있는 Calibrated Confidence Score를 모두 제공하는 효율적인 Hallucination Detection 시스템의 필요성에서 출발한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Hallucination Span Detection을 위해 Multimodal Discriminative Sequence Tagger(System 1)와 Generative VLM(System 2)을 결합하는 하이브리드 프레임워크인 SpanCalib-VLM을 제안한다. System 1은 XLM-RoBERTa-Large 텍스트 인코더와 SigLIP-2 비전 인코더를 Cross-Attention을 통해 융합하며, Span Classifier, Probability Calibrator, Category Classifier의 세 가지 Multi-task Heads를 사용하여 토큰 수준의 Hallucination 확률, Calibration Score 및 오류 유형을 예측한다. 특히, Probability Calibrator Head는 MSE Loss를 통해 토큰 수준의 Confidence를 Human Annotator Consensus Ratios에 대해 직접 Supervise함으로써 강력한 Calibration 능력을 학습한다. System 2는 SHROOM-Visions 훈련 데이터에 Supervised Fine-tuning(SFT)된 Qwen3.5-4B Generative VLM으로, Hallucination의 후보 스팬(Candidate Spans)을 제안하는 역할을 담당한다.

핵심적인 Union-Calibrated Fusion 전략은 System 2에서 생성된 후보 스팬을 System 1의 Calibrated된 확률 분포로 재조정(re-score)하여 최종 예측을 도출한다. 이 앙상블 시스템은 SHROOM-Visions 영어 평가 Split에서 Pearson Calibration Correlation 0.413, Overall IoU 0.391, Clean-response IoU 0.913, 그리고 Overall Detection Accuracy 70.7%를 달성하며, 모든 Baseline과 개별 서브시스템을 뛰어넘는 성능을 보였다. Discriminative Tagger(System 1)는 Generative VLM보다 Pearson Calibration에서 우수하여 Calibrated된 확률 예측에 강점을 가졌고, Generative VLM(System 2)은 Hallucinated-sample IoU에서 더 높은 성능을 보여 Span Recall 능력이 우수함을 확인했다. Ablation Study 결과, MSE Calibration Loss의 제거는 Pearson Correlation을 -0.095 감소시켜 직접적인 확률 Supervision이 Calibration에 필수적임을 입증했다. 또한, SpanCalib-VLM은 5.25 samples/s의 Throughput을 달성하여, 표준 Qwen Inference 대비 4.5배, Chain-of-Thought 모드 대비 120배 빠른 Inference Speed를 제공하며 효율성을 입증했다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Multimodal Discriminative Tagger와 Generative VLM을 Union-Calibrated Fusion을 통해 결합한 하이브리드 프레임워크인 SpanCalib-VLM을 제안하여, LVLMs의 Hallucination Span Detection에서 뛰어난 성능을 입증했다. 이 연구는 빠르고 Calibrated된 확률 예측과 심층적인 Span Detection 능력을 원칙적으로 융합하는 것이 LVLMs의 Hallucination 문제를 해결하기 위한 효과적인 전략임을 보여준다. SpanCalib-VLM은 SHROOM-Visions 태스크에서 높은 Pearson Correlation과 IoU를 달성하며, 학계 및 산업계에서 Hallucination 문제를 해결하고 LVLMs의 신뢰성을 향상시키는 데 중요한 기여를 할 수 있다. 특히, 이 시스템은 영어 외에도 프랑스어, 이탈리아어, 중국어를 포함한 Multilingual 환경에서 강한 Generalization 능력을 보여주며, 다양한 언어에서의 Hallucination Detection 연구에 새로운 방향을 제시한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.