본문으로 건너뛰기

[논문리뷰] SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

링크: 논문 PDF로 바로 열기

저자: Woosang Lim, Yeseul Chang, Jaewoo Lee (KAIST / SAINT Machines, Chung-Ang University)

1. Key Terms & Definitions (핵심 용어 및 정의)

  • Egress Floor (Floor): 부작용(side effect)이 있는 tool call의 target(수신자, 계좌, 파일 등)을 허용할지 정하는 deterministic check입니다. Model call 없이 set lookup만으로 판정하므로 backbone이 달라도 refusal 결과가 같습니다.
  • Taint-novel: 어떤 값의 token(email, URL, 또는 4자 이상인 전체 값)이 tool output에는 있지만 사용자 task text(T)에는 없는 상태를 말합니다. 사용자가 직접 언급한 값은 taint-novel이 되지 않습니다.
  • Typed Identity Index (I): read-only tool이 반환한 typed object에서 identity 형식(email, URI, UUID, hostname, IP)이거나 routing role(recipient, sender, participant, channel)을 가진 field만 모은 flat set입니다. Serialization 이전에 수집하며, body·subject·description 같은 free text는 포함하지 않습니다.
  • Ingress Sanitizer & Span Veto: Model이 읽기 전에 forged chat-template turn(<|im_start|> 등)이나 instruction 형태의 영역을 정해진 rule로 제거하고, 제거한 부분을 evidence span set(S)으로 보관합니다. Span veto는 거부된 target이 S 안에 있으면 judge에게 아예 묻지 않는 규칙입니다.
  • Two-view Judge: Floor가 거부한 call만 재검토하는 local model(gemma4:31b, 4-bit, temperature 0)입니다. Routing view와 payload view가 모두 동의해야 call을 허용하고, 응답이 없으면 거부로 처리합니다(fail-closed).

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문은 기존 prompt injection 방어가 action의 허용 여부를 attacker text를 읽을 수 있는 LLM에 맡긴다는 점을 문제로 봅니다. 그 결과 보안이 model 판단에 좌우되고, 매 step마다 model call 비용이 추가된다는 것입니다. MELON(masked re-run), Progent(model이 작성한 privilege policy), DRIFT(plan 기반 검증)는 결정 경로에 model을 둡니다. 저자들의 실험에서 이 방법들은 12개 backbone-by-suite cell 중 7~11개에서 leak이 발생했고, qwen3:8b benign episode당 backbone call이 2.2~13.6회 늘어났습니다. CaMeL과 ROPE 같은 provenance 방어는 최종 check에서 model을 빼지만, task마다 planner나 router model이 먼저 계획·라우팅을 해야 합니다. 저자들이 주목한 점은 tool이 이미 identity를 typed field(sender, recipient, members)로 반환하고, injection은 대부분 free text(body, description)로 들어온다는 사실입니다. 따라서 per-task plan 없이 typed return과 user task만으로 action의 목적지를 결정할 수 있다는 것이 출발점입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

SPILLWAY는 ingress(무엇이 instruction인가)와 egress(effect가 어디로 가는가)라는 두 boundary의 결정을 분리하고, 둘을 evidence로 연결합니다.

방법론

  • Egress floor:
    • 모든 taint-novel target이 I에 있고 free text에 반복되지 않으면 call을 허용합니다.
    • Grant 계열 call의 principal이 T에 없으면 무조건 차단합니다.
    • 사용자가 요청하지 않은 destructive call도 차단합니다.
  • Delegation rules: 사용자가 간접적으로 지정한 target을 deterministic하게 허용합니다. 예를 들어 "send to Alice"가 alice.miller@...를 허용합니다.
  • Ingress sanitizer: 세 그룹의 rule이 benchmark injection template, agent에게 말을 거는 문장이나 dictated tool call, payee 계좌 변경 주장을 제거합니다.
  • Two-view judge: Floor가 거부했고 S 밖에 있는 target만 재검토합니다.

저자들은 이 구조에서 세 가지 property를 증명합니다.

  • P1: Typed-identity lookup의 soundness.
  • P2: Judge와 무관하게 성립하는 bound. Judge는 safety에 ℛ_S̄를 통해서만 영향을 줍니다.
  • P3: 남은 admission 경로는 delegation rule과, span veto를 통과한 judge 판단뿐입니다.

핵심 결과

  • Breadth grid (AgentDojo v1.2.2; gpt-4o-mini, qwen3-coder:30b, qwen3:8b × 4 suites):
    • 12개 cell 전부에서 in-scope ASR .000이며, raw hit도 0입니다. 이를 달성한 defense는 grid에서 SPILLWAY뿐입니다.
    • 평균 UAU .484로 비교한 defense 중 가장 높고, NRP .520, ERS .684입니다.
    • 비교 대상: MELON(ASR .094, UAU .314), DRIFT(.016 / .453), ROPE(.005 / .345).
  • 통계적 상한: 2,847개 attacked pair 전체를 합치면 one-sided 95% Clopper–Pearson 상한이 0.1%입니다.
  • Utility: Undefended agent의 benign utility를 96% 유지합니다. Agent를 router로 쓴 ROPE는 73%입니다.
  • Cost (qwen3:8b benign):
    • SPILLWAY는 judge를 episode당 0.43 / 0.05회(Slack / Workspace) 호출하고, 추가 wall-clock은 0.5s 이내입니다.
    • DRIFT는 backbone call을 9.91 / 9.59회 추가하고 약 +10s가 더 걸립니다.
  • ROPE와 직접 비교 (Claude Opus 4.8 router 사용, 7개 suite): SPILLWAY는 모든 suite에서 ASR 0이고, ROPE는 3개 suite에서 leak했습니다. Workspace UAU는 .838 vs. .670입니다.
  • Stress test:
    • ChatInject(665 pairs): raw zero. Slack UAU가 .095에서 .286으로 회복됩니다.
    • AutoDojo(389 pairs): ASR 0. 단, 이 rule들은 이전 build에서 실패한 4개 pair를 개발 예시로 삼아 작성되었으므로 저자들은 held-out 결과가 아니라 descriptive 결과로 명시합니다.
    • PISmith RL attacker: 평균 in-scope ASR .007. Undefended agent는 .568입니다.
  • Ablation (qwen3:8b):
    • Floor 단독으로도 4개 suite 모두 ASR 0입니다.
    • Sanitizer 없이 judge만 추가하면 "pay the bill" task에서 attacker 계좌를 승인해 Banking ASR이 .028이 됩니다.
    • 두 component를 모두 쓰면 mean utility가 .300 → .370으로 오릅니다.

4. Conclusion & Impact (결론 및 시사점)

SPILLWAY는 target 결정을 model이 아닌 구조(typed tool return + user task)로 내리고, model은 구조로 결정할 수 없는 경우에만 쓰는 방식으로 prompt injection에 대한 auditable refusal floor를 만듭니다. 3개 backbone과 7개 suite에서 attacker target으로의 redirect를 사실상 0으로 막으면서도, 비교한 방어 중 가장 높은 under-attack utility와 composite score를 기록했습니다.

한계

  • 보장 범위는 identity target에 한정됩니다.
  • Attacker가 typed field 자체를 작성하는 경우(예: email 발신자)는 threat model 밖입니다. 다만 해당 variant 실험에서는 공격이 성공하지 않았습니다.
  • Benchmark마다 role lexicon을 직접 선언해야 합니다.

시사점: 별도의 model call 없이 inline으로 동작하는 가벼운 egress layer입니다. MCP 기반 personal agent처럼 email·결제·파일을 다루는 실서비스에 바로 붙일 수 있는 실용적인 보안 설계 방향을 보여줍니다. 동시에 "LLM-in-the-loop 방어"에 대해 deterministic 대안이 가능하다는 근거가 됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글