[논문리뷰] From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World

링크: 논문 PDF로 바로 열기

메타데이터

저자: Pedro Conde, Henrique Branquinho, Valerio Mazzone, Bruno Mendes, André Baptista, Nuno Moniz

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• AI Pentesting Agents: 실시간으로 타겟 시스템을 탐색하고, 잠재적 취약점을 식별하며, 공격 전략을 수립하는 자동화된 AI 시스템.
• Finding-to-Ground-Truth Pipeline: 에이전트가 보고한 취약점 리포트를 기구축된 Ground-truth 데이터와 비교하여 정량적으로 평가하는 프레임워크.
• Bipartite Resolution: 에이전트의 보고와 실제 취약점 간의 다대다(many-to-many) 대응 관계에서 중복을 제거하고 유효한 탐지(True Positive)를 산출하기 위한 Hungarian Algorithm 기반의 매칭 기법.
• Cumulative Evaluation: 단일 실행이 아닌, 다수의 반복 실행에서 도출된 취약점 리포트를 통합하여 에이전트의 전반적인 탐색 능력과 성능을 평가하는 방식.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 사이버 보안 벤치마크가 지나치게 제한된 환경(예: Capture-the-Flag)에 국한되어 있어, 실제 환경에서의 복잡한 공격 표면과 전략적 탐색 능력을 평가하지 못하는 한계를 해결하고자 한다 [Figure 2]. 기존 연구들은 단일 목표 달성이나 단순한 공격 재현에 집중하여, 실제 Pentesting 과정에서 요구되는 다면적 취약점 발견 및 의사결정 과정을 충분히 반영하지 못한다. 특히, 불완전한 Ground-truth와 에이전트의 Stochasticity를 고려한 운영 수준의 평가 프로토콜이 부재하다는 점이 주요한 문제로 지적된다. 따라서 본 연구는 실제 운영 환경에서 에이전트의 실질적 보안 기여도를 측정할 수 있는 실용적이고 확장 가능한 평가 방법론을 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 LLM-as-a-judge를 활용한 시맨틱 매칭과 Bipartite Resolution을 결합하여 에이전트가 보고한 취약점을 검증하는 프로토콜을 제안한다. 제안된 방법론은 타겟 환경에 대해 상세한 Ground-truth를 구축하고, 전문가의 검토를 통해 이를 지속적으로 유지보수함으로써 평가의 신뢰성을 확보한다 [Figure 1]. 실험에서는 Strix, PentAGI, Claude Code와 같은 다양한 에이전트 엔진을 활용하여 총 108개의 취약점이 포함된 타겟을 평가하였다. 주요 결과로서, 대부분의 에이전트가 단일 실행에서는 높은 False Negative 비율을 보였으나, Cumulative Evaluation을 통해 여러 차례의 실행 결과를 통합했을 때 탐지율(Recall)이 유의미하게 개선됨을 입증하였다 [Figure 3]. 또한 GPT 5.4 Mini가 매칭 시스템에서 가장 높은 정확도를 보였으며, 이는 실무 환경에서 자동화된 보안 평가가 충분히 가능함을 시사한다 [Figure 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 정적인 벤치마크를 넘어, 실제 Pentesting 현장에서의 운영적 맥락을 고려한 포괄적인 평가 프로토콜을 제시한다. 이 연구는 학계의 고정된 성능 평가 방식에서 벗어나, 보안 에이전트의 실질적인 가치를 측정할 수 있는 새로운 표준을 제공한다는 점에서 큰 의의가 있다. 특히 Cumulative Evaluation과 Efficiency Metrics를 도입함으로써, 단순히 어떤 모델이 우수한지를 넘어 특정 운영 환경에 최적화된 에이전트 엔진을 선택하는 기준을 마련하였다. 향후 본 프로토콜은 AI 보안 시스템의 배포 전 검증 과정에서 필수적인 가이드라인으로 활용될 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.