[논문리뷰] DeepStress: Stress-Testing Deep Search Agents

링크: 논문 PDF로 바로 열기

저자: Ismaël Rousseau, Géraldine Damnati, Frédéric Béchet (Orange Research / Aix-Marseille Univ., CNRS, LIS)

1. Key Terms & Definitions (핵심 용어 및 정의)

• DeepStress: Search agent의 search call을 가로채서 retrieval module 대신 synthetic document를 동적으로 생성해 반환하는 simulation 기반 stress testing 환경입니다. 반환되는 document의 품질을 실험자가 정한 확률에 따라 조절합니다.
• Trustworthiness / Relevance / Factuality (T, R, F): 저자들이 조절하는 세 가지 document reliability 축입니다. T는 source가 문체, 구조, URL 면에서 신뢰할 만해 보이는지를 뜻하며, 실제 사실 여부와는 관계가 없습니다. R은 agent가 만든 query에 실제로 답하는 내용인지, F는 document 안의 claim이 사실인지를 뜻합니다.
• Reliability-Aware Score (RAS): 시나리오의 reliability를 ρ = π(T) × π(R) × π(F)로 정의하는 지표입니다. Correct 답변은 1점, Abstention과 tool budget 초과는 1 − ρ점, Incorrect 답변과 answer tag 누락은 0점을 받습니다. 즉 근거가 신뢰할 수 없는 조건에서 답변을 피한 행동에 부분 점수를 줍니다.
• TPC (Tokens Per Correctness) / CoPRAS (Cost per RAS): Cost를 g + 0.25x + 500|S|로 계산합니다(g는 generated token, x는 input token, |S|는 search call 수). TPC는 이 cost를 correct 답변 수로 나누고, CoPRAS는 RAS 합으로 나눕니다. 둘 다 값이 낮을수록 효율적입니다.
• Final-answer outcomes: 정답 여부만 보는 binary 평가 대신 결과를 다섯 가지로 나눕니다. Correct, Incorrect, Abstention, Exceed tool budget, Missing answer tag이며, Correct/Incorrect/Abstention 판정은 GPT-4.1 LLM-as-a-judge가 맡습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문은 search agent가 품질이 낮은 evidence를 만났을 때 얼마나 robust한지를 통제된 조건에서 체계적으로 평가하는 방법이 없다는 문제를 다룹니다. 이런 low-signal 상황은 실제 benchmark에서는 드물게 나타나지만, 실제 application에서는 치명적인 failure로 이어질 수 있습니다. BrowseComp-Plus 같은 기존 연구는 고정 corpus와 hard negative를 써서 retriever와 LLM의 효과를 분리했습니다. 하지만 robustness failure는 대개 사후(post-hoc)에야 관찰되고, 같은 조건을 재현하기 어렵다는 한계가 있습니다. Knowledge conflict 연구(DRAGged into Conflicts, TRACK 등)는 정적인 RAG나 in-context reasoning만 다루었고, 스스로 검색하는 active search agent의 행동은 분석하지 않았습니다. 또한 binary correctness나 TPC 같은 기존 지표로는 "신뢰할 수 없는 evidence 앞에서 답변을 피한 경우"와 "확신을 갖고 틀린 경우"를 구분할 수 없습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 search call마다 T/R/F 라벨을 시나리오 확률에 따라 독립적으로 샘플링하고, 그 라벨에 맞는 document 한 개(top_k = 1)를 LLM으로 생성해 반환하는 framework를 제안합니다.

• 문서 생성 방식: Factual document는 dataset이 제공하는 gold evidence에 grounding해서 생성합니다(HotpotQA는 Wikipedia paragraph, BrowseComp-Plus는 human-verified 문서). 저신뢰 document는 OpenSources 목록에서 domain을 샘플링해 만듭니다. Irrelevant document는 다른 질문의 support context를 바탕으로 생성합니다. Document generator는 Gemma-4-31B입니다.
• 생성 품질 검증: 50개 document를 사람이 annotation한 결과, 의도한 라벨과의 일치율은 Trustworthiness 96.4%, Factuality 85.5%였습니다.
• 실험 설정: 평가 대상은 12개 system입니다. gpt-5-nano/mini(reasoning effort low/medium/high), SpiqaDR-3B, Search-R1, AutoRefine, ASearcher, DR-Tulu, DR-Tulu (no reasoning)이 포함됩니다. 데이터는 HotpotQA와 BrowseComp-Plus에서 각 200문항을 뽑았습니다. 한 번에 한 축만 0/50/100%로 바꾸는 7개 시나리오를 돌려 총 33,600개 trace를 얻었고, 질문당 tool call budget은 100입니다.

주요 결과:

• Trustworthiness 저하:
  • Search-R1 등 open-weight agent는 거의 영향을 받지 않았습니다. Search-R1의 정답률은 78~80%로 유지되었는데, 저신뢰 신호가 분명해도 context의 내용을 그대로 따른다는 뜻입니다.
  • DR-Tulu는 정답률이 59.8% → 40.9%로 떨어졌고, answer tag 누락이 10.8% → 34.6%로 늘었습니다.
  • GPT 계열은 답변을 회피하는 쪽으로 반응했습니다. GPT-5-mini (high)의 budget 소진율이 32.0% → 62.7%로 늘었습니다.
• Relevance 저하: 모든 system의 정답률이 급락했고, 실패 양상은 system마다 달랐습니다.
  • Search-R1은 Incorrect 답변이 10.5% → 79.2%로 늘었습니다.
  • AutoRefine은 answer tag 누락이 18.2% → 61.9%로 늘었습니다.
• Factuality 저하: Relevance 저하보다 확신에 찬 오답이 더 많이 나왔습니다. DR-Tulu의 Incorrect 비율은 0% factuality에서 59.1%로, 0% relevance의 33.8%보다 높았습니다. Irrelevant document보다 "relevant하지만 거짓인" document를 걸러내기가 더 어렵다는 결과입니다.
• Aggregate 지표:
  • 품질이 100%에서 0%로 떨어지면 평균 Cost는 10.9k → 20.5k로 늘었습니다.
  • 0% 품질에서 평균 Correctness는 0.30이었지만 평균 RAS는 0.61이었습니다. 두 값의 차이는 많은 agent가 근거 없는 답변을 피했다는 뜻입니다.
  • GPT-5-nano (medium)은 Correctness가 0.83 → 0.41로 떨어졌지만 RAS는 0.84 수준을 유지했습니다. 반면 Search-R1은 RAS도 0.80 → 0.37로 함께 떨어졌습니다.
  • 평균 TPC는 18.1k → 75.7k로 급증했지만, CoPRAS는 18.1k → 36.8k로 상대적으로 덜 늘었습니다.
  • 0% 품질에서는 TPC 기준으로 AutoRefine이 1위지만, CoPRAS 기준으로는 GPT-5-nano/mini (low)가 최고였습니다.
• Dataset별 차이: 0% factuality에서도 HotpotQA에서는 gpt-5-mini (medium)이 60% 정답률을 냈습니다. BrowseComp-Plus에서는 성능이 거의 0으로 떨어졌습니다. HotpotQA가 parametric knowledge로 상당 부분 풀린다는 뜻이며, direct-inference baseline 실험에서도 같은 결과가 나왔습니다.

4. Conclusion & Impact (결론 및 시사점)

DeepStress를 쓰면 retrieval 조건을 실험실처럼 정밀하게 통제할 수 있고, 저품질 evidence 앞에서 search agent들이 서로 크게 다르게 행동한다는 점을 보여줄 수 있습니다. Agent마다 low-quality document에 대한 반응이 달랐습니다. Context를 그대로 맹신하는 agent, abstention을 택하는 agent, 끝없이 검색하다 budget을 소진하는 agent, format이 깨지는 agent가 있었습니다. 이 framework로 parametric knowledge와 검색된 evidence 사이의 충돌도 정량적으로 측정할 수 있습니다.

시사점:

• 평가 방식: Correctness 하나만 보면 robustness를 판단할 수 없습니다. RAS/CoPRAS 같은 reliability-aware 지표가 필요합니다.
• HotpotQA 사용 시 주의: HotpotQA로 search agent를 평가할 때는 direct-inference baseline을 반드시 함께 돌려야 합니다.
• 산업적 의미: RL로 학습된 open-weight agent 상당수가 source credibility 신호를 무시한다는 결과는, 실제 웹 환경에 배포할 때 실질적인 위험 요소입니다.

저자들이 밝힌 한계:

• Search call마다 document가 하나만 반환됩니다.
• 여러 reliability 문제가 동시에 나타나는 조건은 다루지 않았습니다.
• Synthetic document는 실제 웹 문서보다 깔끔하고 다양성이 낮을 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.