[논문리뷰] CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yufan Wu, Yinghui He, Zhengyi Hu, Lang Wei, Ruichen Li, Qifan Yang, Ting Zhu

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CritBank: 소형 모델(SLM)의 추론 실패 사례를 분석하여 구축한 데이터셋으로, 실패 모드 라벨과 해당 실패를 교정하는 자연어 Critique를 포함함.
• Failure Mode: 모델이 추론 과정에서 반복적으로 범하는 오류의 구조적 패턴으로, 소형 모델과 대형 모델 간에 높은 일관성을 보임.
• CritICL-dynamic: 입력 질문에 대해 발생 가능한 Failure Mode를 실시간으로 예측하고, 이에 최적화된 Critique 사례를 선택적으로 인컨텍스트(in-context) 학습에 활용하는 방식.
• CritICL-static: 모델 패밀리별로 누적된 Failure Mode 분포 정보를 활용하여 가장 빈번한 오류를 방지할 수 있는 가이드를 고정적으로 제공하는 방식.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 대형 언어 모델(LLM)의 추론 성능을 향상시키기 위한 기존 Inference-Time Scaling 기법들이 과도한 연산 비용과 반복적인 Generation을 요구한다는 문제를 해결한다. 기존의 Self-Consistency나 LLM-as-a-judge 방식은 높은 Latency와 Token 소모를 유발하며, 모델의 근본적인 실패 원인에 대한 고려가 부족하다. 저자들은 모델 규모가 달라도 동일한 패밀리 내에서는 Failure Mode 분포가 구조적으로 일치한다는 점을 발견하였으며, 이를 통해 효율적인 Weak-to-Strong Generalization이 가능함을 강조한다 [Figure 2]. 이러한 관찰을 바탕으로 저자들은 소형 모델의 오류 데이터를 재사용하여 대형 모델의 추론을 가이드하는 새로운 프레임워크를 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 CritBank라는 지식 베이스를 구축하고, 이를 활용해 타겟 LLM의 추론 시 오류를 방지하는 CritICL 프레임워크를 제안한다 [Figure 1]. CritBank는 소형 모델의 오답 패턴을 분석하여 생성한 실패 라벨과 교정 피드백으로 구성되며, 이를 통해 CritICL-dynamic과 CritICL-static이라는 두 가지 추론 가이드 전략을 수행한다. Qwen2.5-72B-Instruct 모델을 활용한 실험 결과, CritICL-static은 Pass@1 기준 59.2%의 정확도를 기록하며 Consistency@5 등의 기존 Test-Time Scaling 기법을 상회하는 성능을 보였다 [Table 1]. 특히, CritICL은 Test-Time Scaling 기법 대비 총 Token 사용량을 현저히 줄이면서도 추론 효율성을 크게 개선하였다 [Table 2]. 추가로 AMC23, AIME25 등 OOD(Out-of-Distribution) 벤치마크에서도 기존의 Standard ICL보다 4~6% 높은 정확도 향상을 달성하며 방법론의 강건함을 입증하였다 [Table 3].

Figure 1 — CritICL 전체 아키텍처

4. Conclusion & Impact (결론 및 시사점)

본 논문은 모델의 실패를 부정적인 결과로 보지 않고, 구조적인 학습 데이터로 변환하여 활용하는 CritICL 프레임워크를 통해 추론 성능의 효율적인 확장을 제안한다. 이는 불필요한 반복 연산 없이도 모델의 고질적인 추론 Pitfall을 방지할 수 있음을 입증하며, 차세대 Inference-Time Alignment 연구에 중요한 이정표를 제시한다. 본 연구의 결과는 학계의 고성능 모델 개발과 산업계의 저비용 고효율 추론 시스템 설계에 실질적인 기여를 할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.