[논문리뷰] Agent Safety Should Be a Runtime Contract

링크: 논문 PDF로 바로 열기

메타데이터

저자: Albus W. Ng, Yi Han, Jusheng Zhang, Wenhao Wang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Harness: 모델 외부의 인프라로서, 입력 필터링, 권한 시스템, 샌드박스, 실행 추적 등을 통해 모델과 외부 환경 사이의 상호작용을 제어하는 시스템을 의미합니다.
• Runtime Contract: 모델의 학습 단계에서 보장되는 안전성이 아닌, 실제 배포 및 실행 시점에 하드웨어 및 소프트웨어 수준에서 강제되는 안전 규약을 의미합니다.
• Agent Trajectory: 에이전트 운영 중 발생하는 모든 관찰 가능한 이벤트(Tool call, 파일 변경, 명령어 출력, 스크린샷 등)의 시퀀스이며, Hash chain 구조를 통해 무결성을 보장합니다.
• Evidence-gated Submission: 에이전트가 수행한 작업이 완료되었음을 시스템이 인정하기 위해, 단순한 모델의 보고가 아닌 검증 가능한 하드 증거(Hard evidence)를 요구하는 시스템 계약 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 AI 에이전트의 안전성을 모델 학습(RLHF, DPO 등)만으로 확보하려는 기존의 관행이 구조적으로 불충분함을 지적합니다. autonomous agent는 코드 실행, 파일 수정, 데이터베이스 변경 등 실제 세상에 직접적인 영향을 미치기 때문에, 학습 시점의 모델 얼라인먼트만으로는 배포 환경의 예측 불가능한 위험을 방어할 수 없습니다. 저자들은 기존 연구가 훈련 단계의 얼라인먼트에 과도하게 집중하는 반면, 실무적인 안전은 런타임 제어 인프라에 의존하고 있다는 불일치를 강조합니다 [Figure 1]. 따라서 모델 중심의 안전성 확보에서 벗어나, 실행 시점의 하드웨어 및 시스템적 통제인 런타임 계약으로의 패러다임 전환을 제안합니다.

Figure 1 — 에이전트 안전을 위한 2면 하네스 구조

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 에이전트 안전성을 위해 Preventive face와 Evidential face라는 두 가지 상호 보완적인 런타임 계약을 제안합니다. Preventive face는 샌드박스, 권한 게이트, 출력 필터 등을 통해 위험한 작업을 사전 차단하며, Evidential face는 작업 제출 시 테스트 통과 로그, 파일 diff 등 검증 가능한 하드 증거를 요구하여 작업의 무결성을 입증합니다 [Figure 1]. 이를 위해 저자들은 Agent Trajectory Schema와 검증 가능한 Evidence Chain을 형식화하였습니다. 52건의 안전 사고를 조사한 결과, 40건은 제안된 레이어드 하드웨어/시스템적 통제로 완벽히 차단 가능했음을 확인했습니다. 또한, 주요 AI 학술대회(NeurIPS, ICML, ICLR) 논문 분석 결과, 훈련 단계의 연구가 배포 단계의 하네스 연구보다 8~12배 더 많이 다루어지는 불균형을 발견했습니다. 12개의 실무 시스템 중 단 2개만이 제출 시 증거 검증(submission-like evidence gates)을 수행하고 있음을 확인하며 실무적 도입의 시급성을 증명했습니다 [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 에이전트 안전성의 올바른 단위는 '모델'이 아닌 '검증 가능한 증거가 포함된 궤적(trajectory-with-checkable-evidence)'임을 결론짓습니다. 컴퓨터 보안과 실험 과학 분야가 이미 런타임 검증과 증거 기반의 계약으로 안전을 확보해온 것처럼, AI 에이전트 생태계 또한 이러한 구조적 계약을 수용해야 합니다. 이 연구는 산업계와 학계가 더 안전한 AI 시스템을 설계하기 위해 훈련 중심의 사고에서 벗어나 견고한 런타임 인프라를 구축하도록 유도하는 중요한 이론적 토대를 제공합니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 에이전트 안전을 위한 2면 하네스 구조

Table 2 — 12개 에이전트 시스템의 증거 검증 기능 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.