[논문리뷰] From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement

링크: 논문 PDF로 바로 열기

메타데이터

저자: Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• RLVR (Reinforcement Learning with Verifiable Rewards): 수학이나 코딩과 같이 정답이 결정론적으로 존재하는 도메인에서 모델을 최적화하기 위한 학습 프레임워크입니다.
• RLSVR (Reinforcement Learning with Self-Verifiable Rewards): 오픈 엔드(Open-Ended) 태스크를 프록시 환경으로 변환하여 자체적으로 검증 가능한 보상을 생성하는, 제안된 새로운 학습 패러다임입니다.
• SpyRL (Self-PlaY Reinforcement Learning): 정보 비대칭성을 활용한 다중 에이전트 self-play 프레임워크로, 스파이 색출 게임을 통해 생성된 출력물의 품질을 검증 가능한 보상 신호로 변환합니다.
• Task Transformation: 기존의 평가가 모호한 태스크를, 환경 규칙에 의해 내부적인 정답(Latent Variable)을 생성하고 이를 검증할 수 있는 환경으로 재구조화하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 RLVR의 적용 범위가 수학이나 코딩 등 결정론적 환경에만 국한되어 있다는 한계를 해결하고자 합니다. 오픈 엔드 태스크의 경우 인간의 선호도나 모델 기반의 평가자(LLM-as-a-Judge)에 의존해야 하는데, 이는 평가 편향, 평가자 역량 병목 현상, 그리고 추가적인 추론 비용 발생이라는 문제를 초래합니다. 저자들은 이러한 외부 검증 체계의 의존성을 탈피하고, 모델 스스로가 데이터를 통해 지도 신호를 얻는 자기지도학습(Self-supervised learning)의 원리를 RL에 도입하여 확장 가능한 학습 방식을 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 오픈 엔드 태스크를 다중 에이전트 경쟁 환경인 SpyRL로 변환하여 학습하는 RLSVR을 제안합니다. SpyRL 환경에서는 에이전트들에게 정보 비대칭성을 부여하고, 특정 에이전트(Spy)가 열등한 정보를 바탕으로 태스크를 수행하게 함으로써 출력물의 품질 차이를 유도합니다. 이후 에이전트들은 서로의 출력물을 검토하여 투표를 진행하며, 사전에 설정된 Spy의 정체성을 바탕으로 검증 가능한 보상을 생성합니다. 이 과정에서 Performing Stage와 Detection Stage를 교차적으로 최적화하는 Two-Stage Coupled Optimization 전략을 통해 정책 간의 지속적인 상호 발전을 이끌어냅니다.

실험 결과, SpyRL은 텍스트 요약 및 창의적 작문 태스크에서 기존의 self-evolution 방법론들(예: R-Zero, Absolute Zero) 대비 우수한 성능을 보였습니다. 구체적으로 Qwen3-8B 모델 기준, 요약과 창의적 작문에서 각각 75.4% 및 77.3%의 Win Rate를 기록하며 성능을 입증했습니다. 또한, 수학적 추론과 같은 기존 RLVR 도메인에서도 Qwen3-4B 및 8B 모델의 정확도를 각각 8.97%, 6.16% 향상시키며 보편적인 범용성을 증명했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 태스크 변환을 통해 오픈 엔드 태스크의 보상을 자체 검증 가능한 형태로 변환하는 RLSVR 프레임워크의 유효성을 성공적으로 입증했습니다. 이는 외부 평가자 없이도 확장 가능한 수준의 모델 자기 개선을 가능하게 함으로써, 데이터 의존성을 획기적으로 줄이는 새로운 경로를 제시합니다. 학계와 산업계는 본 연구를 통해 더 이상 인간의 주관적인 평가에 구애받지 않고, 복잡한 생성 태스크에서도 강화학습의 효율을 극대화할 수 있는 강력한 도구를 확보하게 되었습니다.

Figure 1 — RLSVR 학습 패러다임 개요

Figure 2 — SpyRL 프레임워크 구조

Figure 3 — 태스크별 SpyRL 구현

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.