[논문리뷰] InternReviewer & InternAdvocate: Objective Reward and Evaluation for Agentic Reinforcement Learning in Peer Review and Rebuttal

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

저자: Xuerui Su, Liya Guo, Qizhi Pei, Qipeng Guo, Zhongbo Tian, Lijun Wu, Kai Chen, Zun Wang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• InternReviewer & InternAdvocate: 각각 학술 논문 피어 리뷰 생성과 이에 대한 저자 반박(Rebuttal) 작성을 담당하는 전문화된 에이전트입니다.
• POLAR-7B: 학술적 비평의 질을 측정하기 위해 사용되는 reference-anchored semantic scoring 모델로, 생성된 리뷰의 논리적 깊이와 정교함을 평가합니다.
• GSPO (Group-based Sequential Policy Optimization): 에이전트의 강화학습 과정에서 정책 최적화를 위해 사용되는 알고리즘으로, 대규모 샘플링 효율을 극대화합니다.
• Evidence-grounded Search: 에이전트가 생성 과정에서 arxiv_search 툴을 활용하여 실시간 검색된 학술 근거를 바탕으로 답변을 구성함으로써, hallucination을 방지하는 메커니즘입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 학술 리뷰의 자동화 과정에서 발생하는 hallucination과 비전문적인 리뷰 생성을 해결하기 위해 수행되었습니다. 기존의 LLM 기반 리뷰 생성 모델들은 문체만 모방하거나, 존재하지 않는 문헌을 인용하는 등 사실관계 확인이 부족한 sycophantic한 리뷰를 생성하는 한계가 있습니다 [Figure 1]. 또한, 기존 연구들은 보상 체계의 설계가 미흡하여 주관적인 판단에 의존함으로써 학습 과정에서 불안정성을 초래합니다 [Figure 2]. 저자들은 이러한 한계를 극복하기 위해, 사실적 근거에 기반하고 전문적인 구조를 갖춘 에이전트 학습 프레임워크가 필요함을 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Markov Decision Process (MDP)를 기반으로, 외부 툴 사용이 내재화된 Agentic Reinforcement Learning 프레임워크를 제안합니다 [Figure 3]. 저자들은 POLAR-7B와 같은 객관적 지표와, 형식적 구조 및 사실 확인을 포함하는 복합적인 Objective Reward Function을 도입하여 정책 학습의 안정성을 확보했습니다. 구체적으로 arxiv_search 툴을 활용한 고속 검색 인프라를 구축하여, 모든 인용이 실시간 데이터베이스에 근거하도록 설계하였습니다. 실험 결과, 제안된 에이전트들은 기존 모델 대비 논리적 심층성(Reasoning Depth)과 인용 정확도(Citation Integrity) 측면에서 유의미한 성능 향상을 보였습니다. 특히 정량적 지표인 POLAR 스코어에서 기존 SFT 대비 더 높은 semantic alignment를 달성하였으며, 할루시네이션 발생률을 획기적으로 낮추는 결과를 확인했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 학술 커뮤니케이션의 핵심인 피어 리뷰와 반박 과정을 자동화하기 위한 전문 에이전트 프레임워크를 정립하였습니다. 객관적 보상 체계와 실시간 근거 기반 검색 인프라를 통해, AI가 생성하는 리뷰의 신뢰성을 학술적 수준으로 격상시켰다는 점에 큰 의의가 있습니다. 이 접근법은 향후 AI가 학술적 탐구와 동료 평가의 신뢰할 수 있는 파트너로 자리매김하는 데 중요한 기술적 토대를 제공합니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 피어 리뷰 데이터 분석

Figure 2 — 데이터 수집 및 큐레이션 파이프라인

Figure 3 — 에이전트 강화학습 프레임워크

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.