[논문리뷰] AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model

링크: 논문 PDF로 바로 열기

메타데이터

저자: Sarim Hashmi, Mukul Ranjan, Kshitij Mishra, Mikhail Kuznetsov, Praneeth Vepakomma, Nils Lukas

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Indirect Prompt Injection: 웹 페이지 콘텐츠에 공격자가 악의적인 명령을 삽입하여, 해당 페이지를 읽고 작업을 수행하는 Web Agent를 사용자의 원래 목표에서 벗어나게 유도하는 공격 기법입니다.
• Web World Model: 사용자 목표, 페이지, 에이전트의 액션 이력을 기반으로 다음에 도출될 페이지 상태를 예측하는 시뮬레이터(본 논문에서는 WebWorld-14B 사용)입니다.
• Success Flip: 공격자가 삽입한 명령이 특정 단계에서 에이전트의 판단에 영향을 미쳐, 성공했던 작업이 실패로 전환되는 현상을 지칭하며 이를 보상 체계의 핵심 기준으로 사용합니다.
• Task-Preserving Robustness: 공격자의 삽입 명령이 존재하더라도, 작업이 여전히 수행 가능한 환경이라면 에이전트가 본래의 인증된 목표를 완료해야 하는 속성입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Web Agent가 실질적인 환경에서 Indirect Prompt Injection 공격에 취약하며, 기존 방어 기법들이 고정된 공격 시나리오에만 학습되어 적응형 공격자에게 쉽게 우회된다는 문제를 해결하고자 합니다. 기존의 adversarial training 방식은 공격자가 학습 과정에서 진화하지만, 학습되는 작업(Task) 자체가 고정되어 있어 에이전트가 해당 작업을 마스터하면 더 이상 학습 효과가 없다는 한계가 있습니다. 결과적으로, 이러한 고정된 환경에서 벗어난 실제 웹 상황에서는 에이전트의 대응력이 급격히 떨어집니다 [Figure 1]. 따라서 저자들은 작업과 공격자를 에이전트의 역량에 맞춰 동적으로 생성 및 진화시키는 새로운 프레임워크가 필요함을 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 고정된 Web World Model 내부에서 교육 과정(Curriculum), 공격자(Adversary), 에이전트(Executor)가 서로 상호작용하며 학습하는 AdvSim2Real 프레임워크를 제안합니다 [Figure 3]. Stage 1에서는 에이전트가 해결하기 적절한 난이도의 작업을 생성하는 커리큘럼을 통해 에이전트의 기초 역량을 강화하고, Stage 2에서는 Success Flip을 보상으로 하는 적응형 공격자를 도입하여 에이전트의 견고함(Robustness)을 확보합니다. 실험 결과, 제안 모델은 150개의 웹 작업 벤치마크에서 기존 Base 모델 대비 공격 상황하의 완수율을 48.07%에서 57.48%로 향상시켰습니다 [Table 1]. 특히, 학습 과정에 참여하지 않은 Frontier-model 기반 공격자인 Kimi-K3에 대해서도 완수율이 33.6% 상대적 성능 향상을 기록했습니다. 또한, 시뮬레이터에서 학습된 역량이 실제 웹 브라우저 환경으로 성공적으로 전이되어, 실제 브라우저 기반 작업 성공률이 25.56%에서 44.44%로 유의미하게 상승했습니다 [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 적응형 공격자와 동적 커리큘럼을 Web World Model과 결합하여 Web Agent의 보안성과 역량을 동시에 강화하는 혁신적인 접근 방식을 제시합니다. 본 연구는 정적인 데이터셋 기반의 학습을 넘어, 공격자와 에이전트 간의 실시간 피드백 루프를 구축함으로써 보다 실제 환경에 가까운 견고한 보안 학습 환경을 마련했습니다. 이러한 연구 결과는 향후 에이전트 중심의 웹 생태계에서 보안성을 확보하기 위한 표준적인 학습 프레임워크로서 중요한 학술적 및 산업적 시사점을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.