[논문리뷰] SearchJev: A Fast and Calibrated System-1 Model for Search Agents

링크: 논문 PDF로 바로 열기

저자: Congfeng Cao, Lipeng Zuo, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 다루는 핵심 기술 용어 및 개념은 다음과 같다:

• System-1 Model: 빠르고 직관적이며 자동적인 의사결정 방식을 모방한 모델로, 복잡한 추론 없이 즉각적인 판단을 수행한다.
• System-2 Reasoning: 느리고 노력이 필요하며 논리적인 추론 과정을 지칭하며, 주로 대규모 언어 모델(LLM)의 생성 및 계획 능력과 연관된다.
• SearchDecision-Bench: 에이전트 기반 검색 과정에서 발생하는 6가지 유형의 의사결정(Routing, Rewriting, Relevance, Sufficiency, Navigation, Verification)을 통합하여 훈련하고 평가하기 위해 제안된 벤치마크이다.
• Soft-Label Learning for Calibrated Decisions (SLCD): 불확실한 Supervision으로부터 의사결정 확률을 학습하고 그 Confidence를 보정(Calibrate)하는 훈련 방법론이다.
• Schema-conditioned input: 검색 상태(Search State)와 의사결정 스키마(Decision Schema)를 결합하여 의사결정 모델의 입력으로 사용하는 방식으로, 스키마는 특정 결정의 질문과 허용 가능한 옵션을 정의한다.
• Expected Calibration Error (ECE): 모델이 예측한 Confidence가 실제 정확도와 얼마나 차이나는지를 측정하는 지표로, 낮을수록 모델의 Confidence가 신뢰할 수 있음을 의미한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

LLM 기반 Search Agent들은 복잡한 질문에 답하기 위해 추론과 검색을 반복적으로 수행하며, 이 과정에서 적합성(Relevance), 증거 충분성(Evidence Sufficiency), 다음 검색 행동 등과 같은 짧은 의사결정을 빈번하게 내린다. 이러한 의사결정을 위해 Generative LLM을 활용하는 것은 필연적으로 높은 Latency를 유발하고, 모델이 제시하는 Confidence가 불안정하여 신뢰하기 어렵다는 문제가 발생한다. 기존 연구들은 특정 Task에 특화된 Reranker를 사용하거나, 일반 LLM의 Autoregressive Generation을 통해 다양한 의사결정을 처리하려 했지만, 이는 각 Decision Task별로 개별 모델이 필요하거나, 빈번한 의사결정에 대한 순차적 디코딩 오버헤드로 인해 비효율적이며 Confidence가 Miscalibrated되는 한계가 있었다. 따라서, 본 논문은 이질적인 Search Decision들을 효율적이고 잘 Calibrated되며 신뢰할 수 있는 Confidence를 제공하는 통합된 모델로 처리하는 것이 핵심적인 도전 과제임을 지적한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Search Agent의 빠르고 Calibrated된 System-1 Model인 SearchJev를 제안한다. SearchJev는 System-2 Reasoning 및 Generation과 Search Decision을 분리하는 것을 핵심으로 한다. SearchJev의 System-1 Search Decision Model은 Search State와 Decision Schema를 입력으로 받아, Autoregressive Output Generation 과정 없이 Legal Option Label에 대한 LM의 First-Output-Token Logit을 직접 Score함으로써 Decision Distribution을 생성한다 [Figure 2, cite: 1]. 이는 Sequential Decoding Overheaad를 제거하여 의사결정 속도를 크게 향상시킨다. 둘째, Soft-Label Learning for Calibrated Decisions (SLCD)는 불확실한 Supervision에서 Decision Probability를 학습하고 Output Type별 Temperature Calibration을 통해 Confidence의 신뢰도를 높인다. 이는 Cross-Entropy 및 Brier Loss의 가중 조합을 사용하여 Soft Target Distribution에 맞춰 모델을 훈련한다. 셋째, Dual-System Search Agent 아키텍처는 SearchJev를 활용하여 짧은 Search Decision을 처리하며, Confidence Gate를 통해 불확실한 판단은 System-2 (Qwen3.5-27B)에 위임한다 [Figure 3, cite: 1]. System-2는 계획(Planning), 질의 생성(Query Generation), 최종 답변 합성(Answer Composition)을 담당한다.

실험 결과, SearchJev는 Decision Level과 Agent Level 모두에서 탁월한 성능을 보였다. SearchDecision-Bench In-Distribution Test Set에서 SearchJev는 동일 규모의 Qwen3.5 AR (JSON) 모델 대비 Decision Quality를 향상시켰으며, 의사결정 속도를 5.2-5.3배 빠르게 만들었고, 평균 Expected Calibration Error (ECE)를 41-74% 감소시켰다 [Table 3, Figure 1, cite: 1]. 특히, SearchJev-4B 모델은 Routing, Rewriting, Relevance, Sufficiency, Verification Family에서 Qwen3.5 AR (JSON) 모델보다 우수한 Decision Quality를 달성했다. End-to-End Agentic Search 평가를 위해 BrowseComp-Plus에서 Dual-System Agent를 평가한 결과, SearchJev와 통합된 Dual-System Agent는 System-2-Only Agent 대비 Answer Accuracy를 45%에서 최대 54%까지 향상시켰으며, Active Search Time을 3.7-4.7배 단축시키고 System-2 Output Token 수를 3.3-4.8배 감소시켰다 [Table 4, Figure 1, cite: 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Search Agent의 의사결정 효율성과 신뢰성을 크게 향상시키는 빠르고 Calibrated된 System-1 Model인 SearchJev를 성공적으로 제안했다. SearchJev는 Autoregressive Generation 없이 직접 Schema-conditioned Prediction을 수행하며, Soft-Label Learning for Calibrated Decisions (SLCD)를 통해 Decision Probability를 학습하고 보정한다. Dual-System Agent 프레임워크는 SearchJev를 짧은 의사결정에 활용하고, 불확실한 판단을 System-2에 위임함으로써 전체 검색 과정을 최적화한다.

이 연구는 SearchDecision-Bench 벤치마크를 통해 다양한 Search Decision 유형에 대한 통합된 훈련 및 평가 환경을 제공한다. SearchJev의 실험 결과는 Decision Quality, Average Calibration, 그리고 Efficiency 측면에서 기존 Autoregressive 모델 대비 상당한 개선을 입증했으며, End-to-End Agentic Search에서도 Answer Accuracy 향상과 Search Time 감소를 동시에 달성했다. 이러한 발견들은 Generative Reasoning과 짧은 Search Decision을 분리하는 것이 보다 정확하고 효율적인 Search Agent를 구축하는 효과적인 방법임을 시사하며, 학계 및 산업계에서 LLM 기반 Agent 시스템의 실용성을 높이는 데 중요한 영향을 미칠 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.