[논문리뷰] It Takes Two to Match: Co-Evolving Generative Retriever with Reinforcement Learning

링크: 논문 PDF로 바로 열기

저자: Runpeng Dai, Kaili Huang, Changsung Kang, Ciya Liao

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• CoGR: Query-side와 Item-side 각각의 LLM을 통해 키워드를 생성하고, 이를 역색인(Inverted Index) 기반으로 매칭하는 최신 Generative Retrieval 프레임워크입니다.
• GRPO (Group Relative Policy Optimization): CoGR에서 Query-side 및 Item-side의 LLM을 최적화하기 위해 사용하는 강화학습 알고리즘으로, 롤아웃 그룹 내 보상을 정규화하여 정책을 개선합니다.
• Counterfactual Marginal Reward: Item-side LLM 학습 시, 특정 아이템의 키워드 집합 변경이 전체 검색 품질(Retrieval F1)에 미치는 순수한 기여도를 측정하기 위해 사용되는 보상 설계입니다.
• Retrieval F1: 검색 시스템의 정밀도(Precision)와 재현율(Recall) 간의 균형을 평가하기 위한 지표로, CoGR의 핵심 최적화 목표입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 현대의 검색 시스템에서 검색(Retrieval) 단계의 오류가 하위 랭킹(Ranking) 단계에서 복구되기 어렵다는 문제점을 지적하며, 효과적인 검색을 위한 정밀도와 재현율의 균형 문제를 해결하고자 합니다. 기존의 Generative Retrieval은 주로 Query-side의 확장이나 데이터 합성 등 한쪽 측면의 증강에만 치중하며, 최종 매칭을 위해 별도의 하위 검색 모델에 의존하는 한계를 보입니다. 이러한 구조는 Query와 Item 사이의 의미적 정렬(Alignment)을 완벽히 달성하기 어렵게 만듭니다. 이에 따라 본 연구는 Query와 Item 양측의 표현을 LLM으로 공동 구성하고 직접 매칭하는 새로운 프레임워크인 CoGR을 제안합니다 [Figure 1].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 두 단계의 훈련 파이프라인을 통해 Query-side와 Item-side의 키워드 공간을 공동 진화시키는 CoGR을 제안합니다. 우선, SFT (Supervised Fine-tuning)를 통해 정렬된 초기 키워드 공간을 구축하여 안정적인 학습 기반을 마련합니다. 그 후, Co-Evolving RL 단계를 통해 Query-side와 Item-side의 LLM을 교대로 최적화하는데, 이때 상대방의 인덱스는 고정하여 환경의 안정성을 확보합니다 [Figure 2]. 주요 실험 결과, CoGR은 기존의 Sparse, Dense, Generative 검색 모델들을 능가하는 성능을 보였습니다. 내부 APP Marketplace 데이터셋에서는 기존 모델 대비 F1을 10.9% 향상시켰으며, 공공 WANDS 벤치마크에서는 36.1%의 성능 향상을 기록하였습니다. 특히, 공동 진화 과정에서 키워드 분포가 점진적으로 특정되고 양측 키워드 공간이 정렬되는 것을 확인하였습니다 [Figure 3].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 LLM 기반의 Query 및 Item 키워드 생성이 검색 성능을 극대화할 수 있음을 입증하며, 양측을 공동으로 최적화하는 Co-Evolving RL의 효용성을 성공적으로 규명했습니다. CoGR은 기존의 역색인 인프라와 호환되면서도, 전통적인 lexical 검색 모델보다 월등한 의미적 매칭 능력을 제공합니다. 이 연구는 검색 및 추천 시스템 설계에 있어 LLM 활용의 패러다임을 '단방향 보조'에서 '양방향 공동 최적화'로 전환하는 중요한 시사점을 제공합니다. 향후 다양한 검색 및 산업군 데이터셋으로의 확장을 통해 범용적인 검색 인프라로 발전할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.