[논문리뷰] Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders

링크: 논문 PDF로 바로 열기

저자: Xin Li, Hao Jiang, Jinghao Guo, Weisi Lin, Chau Yuen

1. Key Terms & Definitions

• LLM Recommenders: Large Language Models (LLMs)를 활용하여 사용자 요청에 기반한 추천 아이템의 랭킹 리스트를 생성하는 시스템을 지칭합니다. 주로 대화형(conversational) 환경에서 사용됩니다.
• Rank-GRPO: (Group-Relative Policy Optimization for Ranking) LLM 기반 대화형 추천 시스템 훈련을 위한 최신 강화 학습 (RL) 방법론입니다. 사전 학습된 LLM을 미세 조정(fine-tune)한 후, 생성된 리스트에 보상을 할당하여 성능을 개선합니다.
• Responder Noise: 다중 응답자(multi-responder) 추천 시나리오에서, 동일한 요청에 대해 여러 인간 응답자가 제시하는 아이템 제안의 정당한 변동성(legitimate variation)을 의미합니다. 기존 Rank-GRPO는 이를 어드밴티지(advantage) 추정치의 노이즈로 처리합니다.
• ReMaRk (Responder-Marginalized Rank-level RL): 본 논문에서 제안하는 방법론으로, 응답자 노이즈 문제를 해결하기 위해 생성된 리스트를 해당 요청에 대한 모든 응답자 아이템의 union에 한 번만 점수를 매기고, 각 요청을 균등하게 샘플링합니다.
• Rao–Blackwellization: 추정량의 분산(variance)을 감소시키기 위해 충분 통계량(sufficient statistic)을 조건부로 사용하는 통계 기법입니다. 본 논문에서는 응답자에 대한 보상을 평균하여 어떤 응답자가 선택되었는지에 대한 의존성을 제거하고 분산을 줄이는 것을 의미합니다.

2. Motivation & Problem Statement

본 논문은 여러 명의 인간 응답자가 피드백을 제공하는 시나리오에서, Rank-GRPO와 같은 LLM Recommender 훈련을 위한 Reinforcement Learning (RL) 과정의 비효율성과 높은 분산 문제를 해결하고자 합니다. 기존 Rank-GRPO는 단일 추천 요청에 대한 각 응답자의 답변을 개별적인 훈련 예시로 간주하여 처리합니다 [Figure 1]. 그러나 응답자들이 서로 다른 유효한 아이템을 제안하는 경우가 많아 이러한 접근 방식은 "responder noise"를 발생시키고, 정당한 변동성(legitimate variation)을 어드밴티지(advantage) 추정치에서 불필요한 노이즈로 전환시킵니다. 특히, 저자들은 어드밴티지 분산의 85%가 어떤 응답자가 추출되었는지에 따라 발생하며, 이로 인해 대다수의 비교에서 모델이 아무것도 학습하지 못한다고 지적합니다 [Table 1]. 이러한 한계점은 RL 학습의 비효율성을 초래하므로, 정당한 인간 피드백의 다양성을 노이즈로 해석하지 않고 효율적으로 활용하여 RL compute 비용을 절감할 수 있는 새로운 접근 방식이 필요합니다.

3. Method & Key Results

저자들은 LLM Recommender를 위한 Rank-GRPO의 보상 메커니즘과 샘플링 전략을 변경하는 새로운 방법론인 ReMaRk (Responder-Marginalized Rank-level RL)를 제안합니다. ReMaRk는 기존 방식과 달리, 생성된 리스트를 단일 응답자와 비교하는 대신, 주어진 요청에 대한 모든 응답자의 제안 아이템 union에 대해 한 번만 점수를 매깁니다 [Figure 1, Figure 2]. 이는 보상 방식을 qk(L;Sr)에서 ek(L;x)min(ci,1)으로 변경하여, 아이템이 어떤 응답자에게든 추천되었다면 0/1 보상을 부여하는 형태입니다. 또한, ReMaRk는 각 요청을 응답자 수에 비례하여 샘플링하는 대신, 모든 요청을 균등하게 샘플링합니다 [Figure 2]. 이러한 변화는 RL 훈련이 개별 답변이 아닌 요청 자체에 집중하게 하여 훈련 분산을 줄입니다.

주요 실험 결과에 따르면, ReMaRk는 목표 검증 R@20을 달성하는 데 필요한 RL compute를 대폭 감소시킵니다. 7개 백본 모델과 3개 데이터셋에서, ReMaRk는 기존 방식이 2,000단계의 per-reply RL 훈련으로 달성하는 검증 R@20을 25%에서 53%의 단계만으로 도달합니다 [Table 2]. 고정된 2,000단계 예산에서 ReMaRk는 Rank-GRPO 대비 0.8에서 1.6 points 높은 R@20 성능을 일관되게 보여줍니다 [Table 2]. 또한, 수렴할 때까지 훈련했을 때 ReMaRk는 테스트 세트에서 Rank-GRPO에 비해 유의미하게 뒤처지지 않으며, 7쌍 중 4쌍에서 Rank-GRPO의 최고 성능을 18%에서 63%의 GPU-hours만으로 달성했습니다 [Table 3]. 이러한 성능 향상은 제거된 responder noise의 양에 비례하며, Rank-GRPO 업데이트의 정확한 Rao–Blackwellization이 +0.93 points의 개선을 보였고, ReMaRk는 이를 더욱 능가했습니다 [Figure 4]. 이 원칙은 추천 시스템을 넘어 ProtoQA와 같은 다중 응답자 QA 태스크에서도 +3.67 points의 recall@10 향상을 입증하며 일반성을 보여주었습니다.

4. Conclusion & Impact

본 논문은 여러 개의 유효한 인간 답변이 존재하는 추천 요청에 대해, Reinforcement Learning (RL)이 개별 답변이 아닌 요청 자체를 기반으로 훈련되어야 한다는 결론을 제시합니다. 제안된 ReMaRk 방법론은 Rank-GRPO에서 발생하는 "responder noise"를 효과적으로 제거하기 위해, 모든 응답자의 제안을 통합한 0/1 reward를 사용하고 각 요청을 균등하게 샘플링합니다. 이 접근 방식은 동일한 recall 품질을 달성하는 데 필요한 RL compute를 크게 줄여, 적은 GPU-hours로 더 빠른 훈련을 가능하게 하며, 고정된 예산에서 기존 베이스라인을 지속적으로 능가합니다. 이 연구는 훈련 데이터 로우(training rows)가 구성되고 평가되는 방식만 변경하므로, 어노테이터당 하나의 로우를 사용하는 모든 GRPO 데이터에 적용 가능하며, 다수의 정답이 존재하는 다양한 태스크에서 RL의 효율성을 향상시키는 데 중요한 시사점을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.