[논문리뷰] SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response

링크: 논문 PDF로 바로 열기

저자: Lehan Wang, Boli Chen, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Post-Compromise: 시스템이 이미 침해당한 이후의 상황으로, 공격자의 잔여물(artifacts)을 식별하고 해결하는 과정을 의미합니다.
• Cyber Range: 실제 공격 시나리오를 재현하기 위해 구축된 독립적이고 완전한 가상 클라우드 호스트 환경을 말합니다.
• LLM-as-a-Judge: 생성된 보고서를 정량적으로 평가하기 위해 사전 정의된 루브릭(rubric)을 바탕으로 강력한 모델을 평가자로 사용하는 기법입니다.
• CAP (Capability) Taxonomy: 보안 사고 대응을 위한 핵심 역량을 5개 차원(Intrusion Entity, Persistence Mechanism, Baseline Risk, Vulnerability Risk, Quality)으로 분류한 프레임워크입니다.
• OpenCode: 연구에 사용된 에이전트 하네스(agent harness)로, LLM이 도구 사용 및 파일 분석을 수행할 수 있는 인터페이스를 제공합니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 사이버 보안 벤치마크가 대부분 pre-compromise(공격 이전의 이상적 환경)에 치중되어 있다는 한계를 극복하기 위해 SECRESPOND를 제안합니다. 기존 연구들은 단순한 alert 알림, 로그, 혹은 사고 보고서만을 다루는 수준에 머물러 있어, 실제 보안 운영 환경에서 마주하게 되는 복잡한 공격 잔여물이나 은닉된 위협을 다루지 못합니다. 이에 저자들은 실제 클라우드 호스트의 forensic disk snapshot을 활용하여, 성공적인 침해 이후의 전체 사고 대응 워크플로우를 평가하는 체계적인 벤치마크를 구축하고자 합니다. [Figure 1]은 이 벤치마크의 전체적인 업무 흐름과 평가 프레임워크의 개요를 보여줍니다.

Figure 1 — 벤치마크 업무 흐름과 평가 프레임워크의 핵심 구성 요소를 시각적으로 표현함

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 10개의 고유한 Cyber Range를 구축하고, 23개의 frontier LLM을 OpenCode 하네스 위에서 평가하여 모델들의 실제 사고 대응 능력을 실증적으로 측정하였습니다. 평가를 위해 각 작업을 280개의 세밀한 체크포인트로 분해하고, LLM-as-a-Judge를 통해 탐지(Detection)와 계획(Planning) 두 가지 차원에서 성능을 분석했습니다. [Table 2]는 벤치마크에 포함된 다양한 시나리오와 ATT&CK 기법들을 요약합니다.

Table 2 — 벤치마크에 사용된 10개 Cyber Range의 공격 시나리오와 기법을 요약한 핵심 데이터

실험 결과, 모델들은 alert를 기반으로 한 탐지 능력은 준수했으나, 침해 시스템 전체를 대상으로 하는 적극적인 조사와 완벽한 복구(remediation) 능력에서는 심각한 병목 현상을 보였습니다. 최고 성능 모델인 Claude Opus 4.7조차 평균 72.4%의 성능에 그쳤으며, 모든 모델에서 Detection 점수가 Planning 점수보다 월등히 높은 불균형이 확인되었습니다. 특히 침해 엔터티 탐지(75.4%) 대비 지속성 메커니즘(Persistence Mechanism) 탐지(58.8%) 및 조사 품질(31.8%)에서 현저히 낮은 성능을 보여, 복잡한 공격 chain을 대응하는 데 한계가 있음을 증명했습니다. [Table 4]는 모델별 탐지 및 계획 성능을 보여주며, 대다수의 모델이 Planning 단계에서 고전함을 명확히 합니다.

Table 4 — 모델별 시나리오별 탐지 및 계획 성능을 정량적으로 비교한 핵심 실험 결과

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 실제 사고 대응 워크플로우를 평가하는 최초의 post-compromise 벤치마크인 SECRESPOND를 통해, 현재 AI 에이전트들이 직면한 사고 대응의 근본적인 한계를 밝혀냈습니다. 모델들이 단순 탐지는 수행할 수 있으나, 완전하고 검증 가능한 remediation 계획을 수립하는 데 어려움을 겪고 있다는 점은 향후 보안 에이전트 개발 방향에 중요한 시사점을 제공합니다. 본 벤치마크는 실제 산업 현장에서 LLM 에이전트를 도입하려는 보안 전문가들에게 모델 성능을 객관적으로 평가할 수 있는 중요한 도구가 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.