[논문리뷰] Zero Gap Is Not Restoration: Stratified Per-Question Probability Evaluation and Step-wise Mitigation of Benchmark Contamination

링크: 논문 PDF로 바로 열기

메타데이터

저자: Ruijie Hou, Yueyang Jiao, Zhao Wang, Yingming Li

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• G-AP (Gap of Aggregate Performance): 기존 연구에서 사용되던 지표로, 개별 질문의 성능을 0/1(맞음/틀림)로 이진화하여 전체 데이터셋의 평균 차이를 계산하는 방식입니다.
• Solve Probability: 특정 질문에 대해 모델이 정답을 맞힐 확률을 의미하며, 다수의 샘플링(m=50)을 통해 얻은 정답률의 기댓값으로 정의됩니다.
• SA-PPG (Stratified Aggregate of Per-question Probability Gaps): 본 논문에서 제안한 새로운 평가 지표로, 질문별 Solve Probability의 차이(PPG)를 구한 뒤, clean model의 성능 수준에 따라 계층화(Stratified)하여 집계하는 방식입니다.
• RailCap: 모델이 Greedy trajectory를 따르는지를 실시간으로 모니터링하여, 샘플링 과정에서 모델의 출력을 runner-up 토큰 수준으로 억제(suppression)하는 제안 방법론입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 LLM 벤치마크 오염(Contamination) 평가 지표인 G-AP가 모델의 진정한 복원 능력을 왜곡하여 평가한다는 문제를 제기합니다. 기존 지표는 이진화된 0/1 마크를 사용하여 모델의 미묘한 성능 변화를 포착하지 못하며, 전체 평균을 먼저 구한 뒤 차이를 계산함으로써 과대 억제(over-suppression)와 과소 억제(under-suppression)가 서로 상쇄되어 "0점"이라는 결과가 나와도 실제 복원은 이루어지지 않는 오류가 발생합니다. 또한, 기존 지표는 평가 모델의 특정 기저 확률을 쫓도록 유도하는 trivial한 전략에 취약하다는 한계가 있습니다 [Figure 1].

Figure 1 — 오염된 모델의 생성 거동

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 오염 복원 평가의 신뢰성을 높이기 위해 SA-PPG 지표를 제안하고, 이에 대응하는 온라인 복원 기법인 RailCap을 도입합니다. SA-PPG는 질문별로 샘플링을 통해 Solve Probability를 추정한 후, 이들 간의 격차(PPG)를 계산하고, clean model의 성능 구간별로 이를 계층화하여 집계함으로써 기존 지표의 상쇄 효과와 trivial 전략의 유혹을 완벽하게 차단합니다 [Table 2]. 제안된 RailCap은 사전 예측 없이 생성 중에 Greedy trajectory로 회귀하는지를 매 스텝 검사하며, 발견 즉시 차순위 토큰 확률로 억제하여 모델의 응답 분포를 분산시킵니다. 실험 결과, Llama-2 및 다양한 벤치마크 환경에서 기존의 LNE-blocking이나 Shortcut 전략이 G-AP 지표에서는 우수한 것처럼 보이나 SA-PPG에서는 성능이 현저히 낮게 나타나는 등 기존 복원 능력이 과대평가되었음을 입증했습니다. 정량적으로 RailCap은 다양한 모델 환경에서 가장 낮은 SA-PPG 점수를 달성하며 최상위 복원 성능을 기록했습니다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 "Zero Gap(차이 없음)"이 곧 완벽한 복원을 의미하지 않는다는 점을 명확히 하고, SA-PPG라는 보다 엄격하고 타당한 평가 프레임워크를 정립했습니다. RailCap은 사후적인 추정 없이 생성 단계에서 즉각적인 감독을 수행함으로써 기존 전략들이 가진 구조적 의존성을 탈피했습니다. 이 연구는 LLM의 진정한 일반화 능력을 평가하고 오염 문제를 해결하려는 학계 및 산업계 연구자들에게 데이터 오염 평가와 복원 전략 설계의 새로운 기준점을 제시합니다.

Figure 2 — 질문별 Readout 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.