[논문리뷰] Harness-G: A Graph-Structured Harness for Search Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yanning Hou, Haoyuan Chen, Sihang Zhou, Xiaoshu Chen, Xirui Liu, Duanyang Yuan, Lingyuan Meng, Quan Liu, Jian Huang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Retrieval-equivalence collapse: 동일한 의도에 대해 언어적으로는 서로 다른 query를 생성하지만, 실제 누적된 증거(evidence) 집합은 동일하게 수렴하여 검색 결정 간의 차별성(contrast)이 상실되는 현상.
• Harness-G: 자유 형식의 텍스트 query 대신 그래프 기반의 유한한 Action Menu에서 검색 타겟을 직접 선택하도록 재설계된 검색 에이전트 프레임워크.
• SNC (Structured Non-myopic Credit): 검색 과정에서 선택된 action의 marginal gain을 동일 상태의 대안들과 비교하고, 이전의 bridge action이 이후의 검색 성공에 기여한 정도(enablement credit)를 계산하여 할당하는 기법.
• Action Menu: 현재 상태에서 정책(policy)이 선택 가능한 정보 획득 및 종료 행동을 담고 있는 유한한 인터페이스로, 중복 제거 및 유효성 검증이 내장됨.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현재의 LLM 기반 검색 에이전트들이 사용하는 자유 형식 query 생성 방식이 RL 최적화 과정에서 심각한 비효율을 초래함을 지적한다. 기존 연구들은 다양한 process reward를 도입하여 credit assignment를 개선하려 했으나, 여전히 다수의 query가 동일한 검색 결과로 수렴하는 'many-to-one' 매핑 문제를 해결하지 못해 효과적인 exploration을 방해한다 [Figure 1]. 이러한 retrieval-equivalence collapse는 trajectory 간의 utility equivalence를 유발하며, 결과적으로 GRPO와 같은 group-relative 최적화 알고리즘에서 retrieval quality에 대한 올바른 신호(contrast)를 추출하기 어렵게 만든다. 따라서 검색 인터페이스 자체를 재설계하여 학습 과정에서의 정보 탐색과 credit assignment의 정밀도를 높이는 것이 필수적이다.

Figure 1 — 검색 결과의 동질성 붕괴

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 검색 과정을 유한한 상태 내 탐색(stateful navigation)으로 변환하는 Harness-G 프레임워크를 제안한다 [Figure 3]. 이 방법론은 외부 corpus를 paragraph–sentence–entity 그래프로 구조화하고, 에이전트가 natural language query를 생성하는 대신 Action Menu 내의 유한한 노드를 선택하게 함으로써 검색 행위의 deterministic한 제어와 verifiable한 평가를 가능하게 한다 [Figure 2]. 또한, SNC(Structured Non-myopic Credit)를 통해 현재 action이 frontier 내의 다른 대안들보다 우수한지 평가하는 frontier-relative advantage와, 이전의 bridge action이 후속 정보 획득을 가능하게 했는지 측정하는 enablement credit을 결합하여 정교한 step-wise credit assignment를 수행한다. 실험 결과, Harness-G는 6개의 QA 벤치마크에서 기존 최고 성능 모델인 Graph-R1 대비 1.5B 모델 규모에서 10.74 F1 포인트, 3B 규모에서 3.98 F1 포인트 향상된 성능을 기록하였다 [Table]. 특히 이러한 성능 향상은 단순히 인터페이스 재설계뿐만 아니라, SNC를 통한 구조화된 신호 할당의 효과임을 입증하였다.

Figure 2 — 인터페이스 구조 비교

Figure 3 — Harness-G 전체 아키텍처

4. Conclusion & Impact (결론 및 시사점)

본 연구는 검색 에이전트의 학습 효율성을 저해하는 근본 원인이 인터페이스 디자인에 있음을 규명하고, 이를 그래프 기반의 유한 상태 선택 문제로 전환함으로써 성능을 비약적으로 개선하였다. Harness-G와 SNC는 search agent 연구 분야에서 retrieval과 reasoning의 최적화 결합을 위한 새로운 패러다임을 제시한다. 이 연구는 향후 지식 집약적 에이전트 개발 시, 언어 생성 모델의 유연함과 정교한 환경 기반의 제어(control)를 조화시키는 방식에 중요한 기술적 이정표를 제공할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.