[논문리뷰] Reasoning Denoiser: Denoising Reasoning Traces for Hallucination Detection in Large Reasoning Models

링크: 논문 PDF로 바로 열기

저자: Junlin Fang, Do Nguyen-Thanh, Xiaogang Xu, Zhen Fang, Sean Du

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• LRM (Large Reasoning Model): 생성 과정에서 상세한 추론 흔적(Reasoning Traces)을 먼저 생성한 후 최종 답변을 도출하는 거대 언어 모델을 의미합니다.
• Reasoning Noises: 추론 과정에 포함된 불필요한(Irrelevant) 단계와 반복적인(Repetitive) 단계를 지칭하며, 이들은 Hallucination Detection의 성능을 저하시키는 원인이 됩니다.
• ReDe (Reasoning Denoiser): 논문에서 제안하는 프레임워크로, 최종 답변에 대한 Attention 점수를 감독 신호로 활용하여 추론 단계를 Denoising하고 Hallucination을 효과적으로 탐지합니다.
• Step Embedding: 각 추론 단계를 나타내는 벡터 표현으로, 본 연구에서는 Perplexity-weighted 기법을 통해 핵심 정보를 강조하도록 생성됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LRM이 생성하는 긴 추론 과정에 포함된 노이즈가 오히려 Hallucination 탐지를 방해한다는 문제를 해결하고자 합니다. 기존 연구들은 전체 추론 흔적을 그대로 사용하거나 단순한 통계적 방식을 적용하여 이러한 노이즈를 걸러내지 못했습니다. 특히 신뢰도(Confidence) 기반 필터링은 노이즈와 유익한 단계 간의 분포가 겹쳐 효과가 제한적이며, 일반적인 Embedding-based 방식은 반복적인 노이즈를 식별하는 데 한계가 있습니다 [Figure 1]. 이러한 문제로 인해 추론 흔적을 효과적으로 정제(Denoising)하여 탐지에 활용할 수 있는 새로운 메커니즘이 필수적입니다.

Figure 1 — 추론 노이즈와 필터링의 필요성

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문이 제안하는 ReDe 프레임워크는 최종 답변 토큰과 각 추론 단계 간의 Attention 점수를 자동으로 학습 신호로 사용하여 추론 단계의 표현 공간을 재구성합니다 [Figure 2]. 저자들은 이 점수를 통해 유익한 단계와 노이즈를 구분하고, Projection network를 학습시켜 유익한 단계는 응집시키고 노이즈 단계는 분산시키는 Denoised representation space를 형성합니다 [Figure 4]. 추론 시에는 학습된 공간에서 k-Nearest Neighbor (k-NN) 거리를 기준으로 노이즈 단계를 제거하고 필터링된 흔적을 downstream 탐지기로 전달합니다. 실험 결과, TruthfulQA 데이터셋에서 기존 대비 최대 18.69%의 성능 향상을 보였으며, Qwen3-8B 및 DeepSeek-R1-Distill-Llama-8B 등 다양한 모델에서 SOTA급인 87.32%의 탐지 정확도를 달성했습니다 [Table 1]. 또한, 초기 단계보다 최신 단계의 추론이 탐지에 더 중요한 정보를 보존한다는 점을 확인하여 성능 우위를 입증하였습니다 [Figure 3].

Figure 2 — 최종 답변 Attention의 유용성

Figure 4 — ReDe 전체 프레임워크 아키텍처

4. Conclusion & Impact (결론 및 시사점)

본 연구는 LRM 추론 과정 내의 노이즈를 Denoising하는 것이 Hallucination 탐지 성능을 높이는 핵심임을 증명했습니다. ReDe는 별도의 사람의 주석(Annotation) 없이도 모델 자체의 신호를 활용하여 정교한 필터링을 수행하는 일반적인 프레임워크를 제공합니다. 이 연구는 신뢰성 있는 AI 시스템 구축을 위해 모델의 내부 추론 과정을 투명하게 해석하고 정제하는 것이 얼마나 중요한지를 시사합니다. 향후 다양한 LRM의 검증 도구로서 강력한 기반을 제공할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.