[논문리뷰] BiasReducer: Adaptive Bias Mitigation for Reward Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Shuang Liu, Yongliang Miao, Yanguang Liu, Haoyi Xiong, Mengnan Du

1. Key Terms & Definitions (핵심 용어 및 정의)

• Reward Hacking: Reward model이 실제 응답의 품질보다는 length, confidence, sycophancy와 같은 표면적인 속성(superficial attributes)을 선호하여 발생하는 편향 현상.
• Sparse Autoencoder (SAE): 모델의 내부 표현(representation)에서 특정 속성과 관련된 해석 가능한 잠재 변수를 추출하는 데 사용되는 아키텍처.
• Reward Head: Reward model의 마지막 선형 층으로, 입력된 hidden representation을 바탕으로 최종 scalar 점수를 산출함.
• BiasReducer: 별도의 재학습(retraining) 없이 Reward model의 linear head만을 수정하여 데이터셋별로 적응형 편향 완화를 수행하는 경량 프레임워크.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Reward model이 특정 응답 속성에 과도하게 의존하여 발생하는 Reward hacking 문제를 효율적으로 해결하고자 한다. 기존의 학습 기반 방식은 추가적인 데이터와 컴퓨팅 자원을 요구하며, 고정된 편향 수정 방식은 다양한 데이터셋의 특성을 반영하지 못한다는 한계가 있다. 저자들은 재학습 없이 데이터셋별로 최적화된 편향 완화 조치를 선택할 수 있는 새로운 접근법을 제안한다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 BiasReducer를 통해 먼저 SAE를 사용하여 response attribute를 감지하는 내부 표현을 학습하고, 각 속성에 대한 Reward model의 민감도를 줄이는 편집 방향과 강도를 결정한다. 이후 새로운 데이터셋이 주어지면 해당 데이터에서 가장 영향력이 큰 속성을 순위화하여 선택적으로 수정하는 BiasReducer-M 및 BiasReducer-S를 제안한다 [Figure 1]. 실험 결과, BiasReducer-M은 5개의 Reward model을 대상으로 RM-Bench-Hard, Arena-StyleConflict, JudgeBiasBench에서 평균적으로 각각 8.3, 18.0, 6.9 percentage points의 성능 향상을 기록하였다. 이는 기존의 학습 기반(training-based) Baseline 모델들을 상회하는 결과이며, 하위 태스크(downstream tasks)인 GRPO 정책 학습 및 응답 선택 단계에서도 verbosity와 sycophancy를 효과적으로 감소시킴을 입증하였다 [Table 1], [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 해석 가능한 속성 기반 모델 편집 프레임워크인 BiasReducer를 통해 Reward model의 편향을 재학습 없이도 데이터셋에 맞게 적응적으로 교정할 수 있음을 입증하였다. 이 연구는 RLHF 과정에서 흔히 발생하는 Reward hacking 문제를 완화하고, 더 신뢰할 수 있는 Reward 신호를 제공함으로써 LLM 정렬(Alignment) 연구 분야에 중요한 실용적 대안을 제시한다. 향후 다양한 도메인과 대규모 모델로의 확장 가능성이 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.