[논문리뷰] Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I need to extract the information and structure the summary according to the guidelines.

Metadata Extraction:

• 저자: Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He

Part 1: Summary Content Generation

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Omni LLMs (OLLMs): LLM을 텍스트 외에 vision, audio까지 jointly processing하여 복잡한 환경에서 reasoning하도록 확장한 모델.
• Cross-modal Hallucination: OLLM에서 다른 modality들이 불완전하거나 conflicting cues를 제공할 때, grounding evidence와 learned priors 간의 balancing이 실패하여 발생하는 현상.
• Representation Rebalancing: OWP가 제안하는 hallucination mitigation 접근 방식으로, output-level manipulation 대신 conflict-conditioned 방식으로 hidden representations 내부의 grounding evidence와 competing priors의 균형을 재조정하는 것.
• Evidence-Prior Rebalancing Formulation: Omni-modal hallucination을 fused representations 내 grounding evidence와 learned priors 간의 internal imbalance로 재정의하여, hallucination이 perception failure가 아닌 representation entanglement에서 발생한다는 관점을 제시하는 것.
• Training-free framework: 모델 파라미터나 language head를 수정하지 않고 inference 시점에 작동하여 hallucination을 완화하는 방식.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의)

• OLLMs는 joint audio-visual reasoning에서 뛰어난 성능을 보이지만, cross-modal hallucination은 여전히 큰 과제입니다.
• 기존 hallucination mitigation 방법들은 주로 output-level에서 작동하며, fused representations 내에 이미 얽혀 있는 grounding evidence와 learned priors 간의 상호작용을 직접 제어하지 못하는 한계가 있습니다.
• 저자들은 omni-modal hallucination이 evidence encoding의 실패가 아니라, multimodal fusion 과정에서 evidence와 priors가 심하게 imbalanced되는 representation entanglement 문제에서 비롯된다고 가설을 세웁니다.
• 이러한 기존 방법론의 한계로 인해, 모델은 corrupted hidden states를 repair하지 못하고 grounding evidence와 learned priors 사이의 근본적인 conflict를 해결하지 못합니다. 따라서 internal representation level에서 직접 개입하여 문제를 해결할 필요성이 제기됩니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과)

• 본 논문은 training-free framework인 Omni-Woodpecker (OWP)를 제안합니다. OWP는 output-level hallucination mitigation을 representation-level rebalancing으로 전환하며, Query-Conditioned Conflict Diagnosis, Evidence-Preserving Conflict Decomposition, Conflict-Adaptive Representation Rebalancing의 세 단계 파이프라인으로 구성됩니다.
• Query-Conditioned Conflict Diagnosis 단계에서는 query-conditioned 방식으로 target modality와 competing cue를 식별하기 위해 full, audio-only, video-only, text-only의 네 가지 input view를 활용합니다.
• Evidence-Preserving Conflict Decomposition은 식별된 conflict view difference를 protected evidence direction과 orthogonal competing direction으로 분해하고, fused state에서 손실된 target evidence를 측정합니다. 이는 head-level conflict localization을 통해 어디를 편집할지 결정합니다.
• Conflict-Adaptive Representation Rebalancing 단계에서는 진단된 conflict에 따라 path reweighting과 residual-state restoration 사이에 correction budget을 adaptive하게 분배하여, misleading priors를 억제하고 suppressed evidence를 복원하여 fused representations를 재조정합니다.
• Qwen2.5-Omni-7B backbone 사용 시, OWP는 CMM에서 12.9 points, AVHBench에서 8.6 points의 성능 향상을 달성했습니다. 이는 strongest baseline인 MAD 대비 CMM에서 4.9 points, AVHBench에서 7.7 points 더 높은 수치입니다.
• OWP는 CMM hallucination resistance (HR)를 57.0%에서 85.5%로 크게 향상시켰고, perception accuracy (PA)는 89.5%에서 86.7%로 유지하며 PA와 HR 간의 격차를 32.5 points에서 1.2 points로 줄였습니다. 또한, AV Matching task에서 81.1%의 정확도를 달성하여 backbone 대비 6.6 points 향상되었습니다.
• OWP는 다른 backbone인 VideoLLaMA2-AV에도 효과적으로 generalize되어 CMM 정확도를 76.2%에서 80.8%로, AVHBench 정확도를 70.2%에서 74.1%로 높였습니다. 또한, OmniBench, WorldSense, MUSIC-AVQA, AVQA와 같은 4가지 general omni-modal reasoning benchmarks에서도 0.67~2.25 points의 일관된 성능 향상을 보였습니다.
• Inference cost 측면에서 OWP는 conflict-triggered schedule을 통해 Qwen2.5-Omni-7B에서 backbone 대비 평균 1.71배의 latency를 보여, MAD의 2.81배, HulluEdit의 3.68배보다 효율적입니다.

## 4. Conclusion & Impact (결론 및 시사점)

• 본 논문은 Omni-Woodpecker (OWP)를 제안하며, 이는 OLLM의 cross-modal hallucination을 fused representation 내부의 evidence와 priors를 rebalancing하여 교정하는 training-free framework입니다.
• OWP는 conflict를 효과적으로 진단하고, grounding evidence를 보존하면서 competing priors를 억제하는 방식으로 hidden states를 수정하여 hallucination을 줄입니다.
• 이 연구는 hallucination이 output-level 문제가 아닌 internal representation entanglement의 문제라는 근본적인 관점을 제시하며, mitigation 초점을 output-level manipulation에서 representation-level repair로 전환하는 중요한 시사점을 제공합니다.
• OWP는 강력한 성능 향상과 더불어 다양한 OLLM 아키텍처 및 벤치마크에 대한 cross-architecture generalization을 입증하여, 향후 reliable omni-modal reasoning 연구에 실용적이고 효과적인 방향을 제시합니다.

Part 2: Figure Information I need to identify 3 key figures.

• Figure 1: Comparison of omni-modal hallucination mitigation paradigms. (Overview of the problem and OWP's approach)
• Figure 2: Overview of Omni-Woodpecker (OWP). (Detailed architecture/flow of the proposed method)
• Figure 3: Mechanism analysis of OWP. (Key experimental analysis results)
• Table 1 is also very important for main results, but the instruction specifically asks for Figure <img> tags, and Table 1 is an HTML table.
• Figure 4 is a qualitative result. Figure 2 and Figure 1 (for context) and Figure 3 (for mechanism analysis) seem most critical.

Let's find the src for Figure 1, 2, 3.

• Figure 1: src="2610.27103v1/x1.png" -> https://arxiv.org/html/2610.27103v1/x1.png
• Figure 2: src="2610.27103v1/x2.png" -> https://arxiv.org/html/2610.27103v1/x2.png
• Figure 3: src="2610.27103v1/x3.png" -> https://arxiv.org/html/2610.27103v1/x3.png

Looks good. Now I can construct the final output.저자: Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Omni LLMs (OLLMs): Large Language Models (LLMs)를 텍스트뿐만 아니라 vision, audio 등 다양한 modalities를 jointly processing하도록 확장하여 복잡한 환경에서 reasoning 능력을 갖춘 모델을 지칭합니다.
• Cross-modal Hallucination: Omni LLMs에서 서로 다른 modalities가 불완전하거나 conflicting cues를 제공할 때, 모델이 grounding evidence와 learned priors 간의 균형을 적절히 맞추지 못하여 발생하는 신뢰성 문제를 의미합니다.
• Representation Rebalancing: 본 논문에서 제안하는 hallucination mitigation의 핵심 접근 방식으로, output-level manipulation이 아닌 conflict-conditioned 방식으로 hidden representations 내부의 grounding evidence와 competing priors의 균형을 능동적으로 재조정하는 과정입니다.
• Evidence-Prior Rebalancing Formulation: Omni-modal hallucination이 perception failure가 아닌, fused representations 내 grounding evidence와 learned priors 간의 internal imbalance 즉, representation entanglement에서 비롯된다고 재정의하는 개념입니다.
• Training-free framework: 모델의 파라미터나 language head를 수정하지 않고 inference 시점에 작동하여 hallucination을 완화하는 방법론으로, 기존 모델에 대한 추가 학습 없이 적용 가능합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Omni LLMs (OLLMs)는 joint audio-visual reasoning에서 놀라운 능력을 보여주지만, cross-modal hallucination은 여전히 주요 도전 과제로 남아 있습니다. 기존의 hallucination mitigation 방법들은 주로 contrastive decoding, modality-adaptive generation, 또는 preference optimization과 같은 output-level 기법에 의존하며, fused representations 내에 이미 얽혀 있는 grounding evidence와 learned priors 간의 상호작용을 직접 제어하지 못하는 한계가 있습니다 [cite: 1, Figure 1a]. 저자들은 omni-modal hallucination이 evidence encoding의 실패가 아니라, multimodal fusion 과정에서 evidence와 priors가 심하게 imbalanced되는 representation entanglement 문제에서 비롯된다고 핵심 가설을 세웁니다. 이러한 기존 방법론의 한계로 인해, 모델은 corrupted hidden states를 repair하지 못하고 grounding evidence와 learned priors 사이의 근본적인 conflict를 해결하지 못하며, 이는 unreliable하고 evidence-driven이 아닌 reasoning으로 이어져 internal representation level에서의 직접적인 개입 필요성을 제기합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 OLLM의 cross-modal hallucination을 해결하기 위해 Omni-Woodpecker (OWP)라는 training-free framework를 제안합니다. OWP는 output-level hallucination mitigation을 representation-level rebalancing으로 전환하며, Query-Conditioned Conflict Diagnosis, Evidence-Preserving Conflict Decomposition, Conflict-Adaptive Representation Rebalancing의 세 단계 파이프라인으로 구성됩니다 [cite: 1, Figure 2]. Query-Conditioned Conflict Diagnosis 단계에서는 query-conditioned 방식으로 target modality와 competing cue를 식별하기 위해 full, audio-only, video-only, text-only의 네 가지 input view를 활용하여 cross-modal conflict를 진단합니다. 이어서 Evidence-Preserving Conflict Decomposition은 식별된 conflict view difference를 protected evidence direction과 orthogonal competing direction으로 분해하고, fused state에서 손실된 target evidence를 측정합니다. 이는 head-level conflict localization을 통해 어디를 편집할지 결정합니다. 마지막으로 Conflict-Adaptive Representation Rebalancing 단계에서는 진단된 conflict에 따라 path reweighting과 residual-state restoration 사이에 correction budget을 adaptive하게 분배하여, misleading priors를 억제하고 suppressed evidence를 복원하여 fused representations를 재조정합니다.

실험 결과, Qwen2.5-Omni-7B backbone 사용 시, OWP는 CMM에서 12.9 points, AVHBench에서 8.6 points의 높은 성능 향상을 달성했습니다. 이는 strongest baseline인 MAD 대비 CMM에서 4.9 points, AVHBench에서 7.7 points 더 높은 수치입니다. 특히 OWP는 CMM hallucination resistance (HR)를 57.0%에서 85.5%로 크게 향상시키고 perception accuracy (PA)를 89.5%에서 86.7%로 유지하며, backbone의 PA와 HR 간 32.5 points 격차를 1.2 points로 대폭 줄였습니다. 또한, AV Matching task에서 81.1%의 정확도를 달성하여 backbone 대비 6.6 points 향상되었습니다. OWP는 다른 backbone인 VideoLLaMA2-AV에도 효과적으로 generalize되어 CMM 정확도를 76.2%에서 80.8%로, AVHBench 정확도를 70.2%에서 74.1%로 높였습니다. 또한, OmniBench, WorldSense, MUSIC-AVQA, AVQA와 같은 4가지 general omni-modal reasoning benchmarks에서도 0.67~2.25 points의 일관된 성능 향상을 보였습니다 [cite: 1, Table II]. Inference cost 측면에서 OWP는 conflict-triggered schedule을 통해 Qwen2.5-Omni-7B에서 backbone 대비 평균 1.71배의 latency를 보여, MAD의 2.81배, HulluEdit의 3.68배보다 효율적입니다 [cite: 1, Table III]. Layer-wise intervention 분석 결과, evidence enhancement는 mid-layers에서 효과적이었고, prior suppression은 later layers에서 효과가 나타나, 두 구성 요소가 다른 깊이에서 작동함을 확인했습니다 [cite: 1, Figure 3a, Figure 3b].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Omni LLMs (OLLMs)의 cross-modal hallucination을 fused representation 내부의 evidence와 priors를 재조정하여 교정하는 training-free framework인 Omni-Woodpecker (OWP)를 제안했습니다. OWP는 conflict를 효과적으로 진단하고, grounding evidence를 보존하면서 competing priors를 억제하는 방식으로 hidden states를 수정하여 hallucination을 줄입니다. 이 연구는 hallucination이 output-level 문제가 아닌 internal representation entanglement에서 비롯된다는 근본적인 관점을 제시하며, mitigation 초점을 output-level manipulation에서 representation-level repair로 전환하는 중요한 시사점을 제공합니다. OWP는 주요 hallucination 벤치마크에서 강력한 성능 향상과 더불어 다양한 OLLM 아키텍처 및 일반 omni-modal reasoning 벤치마크에 대한 cross-architecture generalization을 입증하여, 향후 reliable omni-modal reasoning 연구에 실용적이고 효과적인 방향을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.