[논문리뷰] DiffCoT: Diffusion-styled Chain-of-Thought Reasoning in LLMs

링크: 논문 PDF로 바로 열기

저자: Shidong Cao, Hongzhan Lin, Yuxuan Gu, Ziyang Luo, Jing Ma

핵심 연구 목표

논문은 대규모 언어 모델(LLMs)의 Chain-of-Thought (CoT) 추론에서 발생하는 노출 편향(exposure bias) 과 오류 누적 문제를 해결하는 것을 목표로 합니다. 기존의 순차적인 자기회귀적(autoregressive) CoT 방식은 초기 단계의 실수가 이후 단계로 전파되어 최종 답변의 정확도를 떨어뜨리는 한계를 가집니다.

핵심 방법론

제안된 DIFFCOT 프레임워크는 CoT 추론을 반복적인 디노이징(denoising) 프로세스 로 재구성합니다. 이는 슬라이딩 윈도우(sliding-window) 메커니즘 을 통해 추론 단계 수준에서 확산 원리를 통합하여 중간 단계의 생성과 회고적 수정을 가능하게 합니다. 특히, 인과적 확산 노이즈 스케줄(causal diffusion noise schedule) 을 도입하여 추론 체인의 시간적 구조를 존중하면서 오류 수정과 일관성 있는 추론을 균형 있게 조절하며, DPO (Direct Preference Optimization) 손실 함수 를 사용하여 모델을 훈련합니다.

주요 결과

DIFFCOT 는 GSM8K, SVAMP, MATH 를 포함한 세 가지 다단계 수학적 추론 벤치마크에서 기존의 CoT 선호도 최적화(PO) 방법론들을 일관되게 능가 했습니다. 예를 들어, Qwen3-8B 모델에서 GSM8K에서 66.2% , SVAMP에서 85.5% , MATH-L1에서 63.6% 의 정확도를 달성하며 향상된 강건성(robustness) 과 오류 수정 능력 을 입증했습니다.

AI 실무자를 위한 시사점

DIFFCOT 는 LLM 기반의 다단계 추론 시스템에서 오류 복구 능력 을 크게 향상시킬 수 있는 실용적인 방법론을 제공합니다. 이는 특히 복잡한 문제 해결 시 초기 단계의 사소한 오류가 전체 결과에 미치는 부정적인 영향을 줄여, AI 엔지니어들이 더욱 신뢰성 높고 자기 수정 가능한 CoT 모델 을 구축하는 데 기여할 수 있습니다. 기존 자기회귀 모델에 대한 미세 조정을 통해 통합이 용이하여 현재 LLM 개발 파이프라인에 쉽게 적용 가능합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.