[논문리뷰] Invariant-Aware Harness Enforcement to Protect LLM Agents from Silent API Failures
링크: 논문 PDF로 바로 열기
저자: Sajib Acharjee Dip, Brian Ouyang, Lala Motlhabi
1. Key Terms & Definitions (핵심 용어 및 정의)
- Silent API Failure / Silent Fault: API가 HTTP 200과 그럴듯한 결과를 돌려주지만, 실제로는 보낸 request에 답하지 않은 response를 말합니다. 예를 들어 이름이 틀린 filter를 무시하거나, filter 값의 typo를 그냥 버리거나, page를 조용히 잘라내는 경우입니다. 그 원인이 되는 버그를 silent fault라고 부릅니다. Response는 형식도 정상이고 자체적으로도 모순이 없기 때문에, response 하나만 봐서는 문제를 찾을 수 없습니다.
- Harness: Agent의 tool call을 실제로 실행하는 코드 계층입니다. SilentGuard는 tool 결과를 믿을지 말지 정하는 권한을 model에서 harness로 옮깁니다.
- Exact Check (Invariant): 올바른 API라면 반드시 만족해야 하는 성질입니다. 대표적인 것이 count identity N(F) + N(F<k ∧ ¬Ck) = N(F<k) 입니다. 이 밖에 list record membership·중복 없음·size = total, 공개된 parameter spec 검사(spec check), value-swap check가 있습니다. False-alarm rate는 α̂ = 0으로 둡니다.
- Learned Check: Clean response에서 추출한 contract입니다(field 타입, echo된 argument, 값 범위, field 간 linear relation 등). Outcome Monitors 방식을 따르며 false alarm이 날 수 있습니다. False-alarm rate는 rule of succession으로 α̂ⱼ = 1/(nⱼ+2) 로 추정합니다.
- AgentOrchBench: 저자들이 만든 benchmark입니다. Local REST service 8개 위에서 catalog record 400개를 대상으로 count task를 수행하며, 정답이 정확히 정해져 있어 judge 없이 채점됩니다. Fault는 server 안에 주입되고, 다시 호출해도 똑같이 재현됩니다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
이 논문이 다루는 핵심 문제는, LLM agent가 silent API failure를 알아차리더라도 결국 잘못된 값을 답으로 내놓는다는 점입니다. 저자들이 공개 research API 15개를 probe한 결과 11개에서 silent fault가 하나 이상 발견됐습니다. 그중 10개는 이름이 틀린 filter를 받으면 filter가 적용되지 않은 count를 그대로 돌려줬고, 이때 count는 최대 691배까지 부풀었습니다 [Figure 3].
기존 해결책인 checklist prompt, reviewer model, Outcome Monitors, LLM judge는 모두 판단을 model에 맡깁니다. 그래서 오답률이 unguarded agent의 74.0%와 거의 같은 수준(약 72~74%)에 머뭅니다. 놀라운 점은 문제가 감지되지 않아서 생기는 게 아니라는 것입니다. Consistency check 결과를 본 judge는 faulted run의 82.4%를 flag했는데도, agent는 flag된 run의 77.4%에서 그 count를 그대로 보고했습니다. Warning을 받은 뒤에도 64.4%에서 같은 행동을 보였습니다. Agent의 stated confidence는 1.00 → 0.43으로 떨어졌지만 그래도 숫자를 답했습니다. 따라서 model의 판단에 기대지 않는 구조적 해법이 필요하다는 것이 저자들의 주장입니다.
3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 invariant-aware harness enforcement 방식의 SilentGuard를 제안합니다. 핵심 아이디어는 fault의 evidence를 만드는 일과 그에 따라 행동하는 일을 분리하는 것입니다.
동작 방식
- Harness는 모든 tool 결과에 exact check와 learned check를 실행합니다. Count query의 경우 filter 조건의 모든 position에 대해 extra query 2개를 직접 보내 count identity를 확인합니다. 따라서 어느 위치의 filter가 무시되더라도 잡아낼 수 있습니다.
- Check를 통과하지 못한 결과는 같은 call로 한 번 다시 확인합니다(re-check).
- 그래도 실패하면 action policy π(r) 에 따라 처리합니다. 실패한 check가 exact(α̂ⱼ ≤ τ = 1%)이면 값을 withhold하고 검증된 count만 받아들입니다. Learned check라면 값은 보여주되 warn만 합니다.
- 추가 LLM call은 필요 없습니다.
Controlled comparison으로 밝힌 세 가지 요소 (7개 open model 기준)
- Evidence: Check 결과가 없으면 judge의 판정이 advice든 blocking이든 오답률은 71.7% / 70.8%에 머뭅니다.
- Permission: "cannot be determined"라고 답해도 된다고 허용하는 prompt는 warning 이후 오답률을 70.1% → 18.2%로 낮춥니다. 다만 model 간 편차가 0~59%로 큽니다.
- Enforcement: Harness가 값을 withhold하면 오답률이 1.7%(어떤 model에서도 최대 4%)까지 떨어집니다.
주요 정량적 결과
- AgentOrchBench (open model 7개): 오답률 74.0% → 1.7%, clean accuracy는 84.9%로 변화가 없었습니다. 7개 model 모두에서 개선됐습니다(p = 0.016).
- Frontier model (GPT-5.6 Sol/Terra/Luna): 오답률 70.2% → 0.5%(model별 0.0~1.4%), clean accuracy는 98.1%였습니다. 반면 self-verification은 clean accuracy를 20.4%까지 떨어뜨렸습니다.
- Real API 9개 (documentation의 filter 이름 하나를 틀리게 준 경우): 오답률 89.8% → 21.3%, 정답률 3.5% → 69.5%였습니다. 이 개선은 주로 spec check에서 나왔으며, spec check 하나만 써도 21.0%로 비슷했습니다.
- Risk-coverage 분석 (fault rate 25%): SilentGuard는 coverage 67%에서 risk 3.3%를 기록했습니다. No guard는 24.6%, LLM judge는 24.0% 수준에 머물렀습니다 [Figure 2].
- Method를 고정한 뒤 새로 작성한 fault type 6종: 오답률이 61.1% → 24.5%로 줄었습니다. Check가 발동한 경우에는 오답을 한 번도 내보내지 않았습니다. 반면 auto-repair는 오답 102건을 냈고, 그중 49건은 "verified" 표시가 붙은 채 잘못 repair된 결과였습니다.
- 비용: Faulted run당 처리 시간이 18.9 s로 LLM judge(47.2 s)보다 짧았지만, token은 더 많이 썼습니다.
한계
- SilentGuard는 정답을 복구하는 방식이 아니라 abstention으로 오답을 피합니다. Fault 상황에서 정답률은 16.4% → 2.4%로 낮아집니다.
- 1~2회 호출 안에 사라지는 일시적 fault에서는 blind retry가 더 낫습니다(ToolMaze 기준 60.4% vs 47.6%).
- NCBI, UniProt처럼 query string 안에 filter를 쓰는 API에서는 spec check가 작동하지 않습니다.
4. Conclusion & Impact (결론 및 시사점)
이 논문의 결론은, silent API failure에 대해 모든 model에서 신뢰할 수 있게 작동하는 방어책은 harness 수준의 enforcement뿐이라는 것입니다. Evidence는 필요조건이고, abstain 허용은 일부 model에서만 효과가 있으며, model에 판단을 맡기는 기존 방식은 근본적인 한계가 있습니다.
산업 측면에서 저자들은 세 가지를 권고합니다.
- Harness 개발자: Exact check에 실패한 결과에 대해서는 harness가 최종 결정권을 갖게 하고, check로 확인할 수 있는 fault type에 한해서만 repair해야 합니다.
- API 개발자: 알 수 없는 parameter는 reject하고, page를 잘랐다면 그 사실을 알려야 합니다.
- Benchmark 설계자: 다시 호출해도 반복되는 fault를 포함해야 합니다.
이 연구는 agent 신뢰성 문제를 model capability의 문제에서 시스템 아키텍처의 문제로 재정의했습니다. 또한 실험 전에 prediction을 기록하는 사전 등록 방식(39개 중 26개 적중, 실패한 prediction도 공개)으로 엄밀하게 평가했다는 점에서 방법론적으로도 의미가 있습니다.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
Review 의 다른글
- 이전글 [논문리뷰] InclusionMed: Benchmarking AI for Inclusive Healthcare
- 현재글 : [논문리뷰] Invariant-Aware Harness Enforcement to Protect LLM Agents from Silent API Failures
- 다음글 [논문리뷰] JEPA4R: Embodied JEPA World Models with 4D Point Planning
댓글