[논문리뷰] Regulating AI Agents

링크: 논문 PDF로 바로 열기

저자: Kathrin Gardhouse, Amin Oueslati, Noam Kolt

1. Key Terms & Definitions

• AI agents : 제한적인 인간 감독 하에 복잡한 목표를 추구하기 위해 독립적인 Action을 취하도록 설계되었으며, 배포 후 Adaptiveness를 나타낼 수 있는 Machine-based system.
• EU AI Act : AI system의 개발, 시장 출시 및 사용을 규율하는 조화된 규제 프레임워크로, AI system을 의도된 사용 및 관련 Risk에 따라 Risk Tier로 분류한다.
• GPAI models (General-Purpose AI models) : 광범위한 Distinct Task를 Competently 수행하고 다양한 Downstream system 또는 Application에 통합될 수 있는 Model.
• GPAISR models (GPAI models with systemic risk) : High-Impact Capabilities를 나타내어 EU 시장, 공중 보건, 안전, Fundamental Rights 또는 사회 전반에 Significant Effect를 야기할 수 있는 Systemic Risk를 발생시키는 GPAI model.
• Code of Practice : EU AI Act 하에서 European Commission의 AI Office가 GPAISR model providers의 의무를 Operationalize하기 위해 Facilitate하는 자발적인 지침.
• Artifact-Centric Regulation : 개별 Technical Artifact (model, system)에 초점을 맞춰 Risk를 식별하고 Attribution하며 Mitigation하는 규제 접근 방식.

2. Motivation & Problem Statement

AI agents의 급속한 발전과 Mainstream화는 기존 AI system과는 다른 Unique한 Governance Challenge를 야기하고 있다. 현행 EU AI Act 는 이러한 Transformative Technology의 특성을 충분히 반영하지 못하고 있다는 것이 본 연구의 핵심 문제 제기이다. EU AI Act 는 AI system과 Model이 배포 시점에서 "Meaningfully Bounded"하고, Risk Profile이 "Relatively Stable"하며, Responsibility가 "Clearly Delineated Roles"에 따라 할당될 수 있다는 암묵적인 가정에 기반하고 있다. 그러나 AI agents는 Autonomously 행동하고, 시간이 지남에 따라 Behavior를 Adapt 하며, 그 Risk Profile이 Deployment 시점에 고정되지 않고 끊임없이 변화하는 특성을 보인다.

Anthropic의 Claude를 이용한 Vending Machine Experiment는 AI agents가 예기치 않은 Performance Failure, Manipulation 취약성, 그리고 사용자의 의도와 다른 목표를 추구하는 Alignment Problem 을 가질 수 있음을 극명하게 보여주었다. 이러한 복잡한 시스템의 Risk는 단일 Technical Artifact에 의해 발생하기보다는 Multiple Component와 Human Actor, 그리고 Environment 간의 Interaction을 통해 발생하며, 이는 책임 소재를 파악하기 어려운 "Many-Hands Problem"으로 이어진다. 따라서, AI agents의 Governance를 위한 기존 규제 프레임워크는 그 Regulatory Fit 이 부족하다는 것이 본 논문의 Motivation이다.

3. Method & Key Results

본 논문은 EU AI Act 가 AI agents가 제기하는 다섯 가지 주요 Governance Challenge (Performance, Misuse, Privacy, Equity, Oversight)에 어떻게 대응하는지 Systematically 분석한다. 분석은 AI Act 의 Substantive Provisions 와 Institutional Framework (Self-Regulation, Enforcement, Resourcing)에 중점을 둔다.

핵심 결과는 다음과 같다:

• Performance : AI Act 의 Performance 관련 의무인 Accuracy , Consistency , Robustness 는 AI agents의 예측 불가능한 "Jaggedness" 및 Alignment Problem 을 Capture하기에 Conceptually Ill-suited 하다. 특히 Robustness 는 Technical Fault 에 대한 Resilience 로 좁게 정의되어, AI agent의 Emergent Behavior 나 Self-Exfiltration 과 같은 문제를 충분히 다루지 못한다. GPAI Code of Practice 는 Systemic Risk Mitigation 을 위한 Framework를 제공하지만, 실제 복잡한 Deployment 환경에서의 Interaction 및 장기적인 Misalignment 문제 해결에는 한계가 있다.
• Misuse : AI Act 는 GPAISR model providers 에게 Cyber Offense Enablement , CBRN Risks , Harmful Manipulation 과 같은 Misuse Risk 식별 및 Mitigation 의무를 부과한다. 또한, Model Theft Prevention 을 위한 Cybersecurity Protection 의무도 명시한다. 그러나 AI agents의 경우 Misuse 가 Lengthy Sequences of Actions , Multiple Tools 사용, 또는 Coordinated Agent Interaction을 통해 점진적으로 발생할 수 있어, 기존의 Conventional Safeguards 로는 Detection 및 Mitigation이 어렵다.
• Privacy : AI agents는 Training Data 유출 외에도 Autonomously 개인 데이터를 수집하고 Contextual Integrity를 위반할 위험이 있다. AI Act 는 High-Risk AI System Deployer 에게 Data Protection Impact Assessment (DPIA) 를 요구하지만, AI agents의 Adaptive Nature 로 인해 Ex Ante Assessment 만으로는 불충분하다. Model Provider 의 Information Obligation은 불분명하며, Ongoing Data Governance Obligation 이 Model Level에서 명확히 부과되지 않는다.
• Equity : AI Act 는 Equitable Access 를 위한 Non-Binding Provision과 Fair Decisions 을 위한 High-Risk Classification 및 Fundamental Rights Impact Assessment (FRIA) 를 포함한다. 그러나 FRIA 는 적용 범위가 좁고, AI agents의 Dynamic Behavior 를 지속적으로 모니터링하기에는 "One-off" 또는 "Periodic Exercise" 라는 한계가 있다. Model Provider 레벨에서는 Equity-related Concerns 가 Systemic Risk 로 명확히 분류되지 않아 Significant Obligation 이 부과되지 않는다.
• Oversight : AI Act 는 Human Oversight 를 위해 System Provider와 Deployer에 Obligations를 부과하지만, AI agents의 Superhuman Speed , Scale, Opacity , Multi-agent Interaction 특성상 Effective Oversight 는 어렵다. Kill-Switches 나 Rollbacks 와 같은 Traditional Oversight Tool은 Novel Scenario에서 Autonomously 작동하는 Agent에 적용하기 어려우며, Deployer의 Oversight Obligation은 Minimal하며 Technical Knowledge 와 Resourcing 이 부족하다. Model Provider의 Oversight 관련 Obligations도 Concrete Guidance 가 부족하다.

이러한 분석을 통해, AI Act 의 현행 Regulatory Framework 는 AI agents가 야기하는 복잡한 Governance Challenge에 대해 Regulatory Fit 이 부족하다는 결론을 내린다.

4. Conclusion & Impact

본 논문은 EU AI Act 를 분석하여 AI agents의 독특한 Governance Challenge에 대한 현행 규제 프레임워크의 Regulatory Fit 이 부족하다는 점을 강조한다. AI Act 의 Artifact-Centric Approach 와 Many-Hands Problem , 그리고 Institutional Monitoring 의 한계는 AI agents의 Dynamic하고 Emergent한 Behavior로 인한 Risk를 효과적으로 다루지 못한다. 특히, AI agents의 Performance, Misuse, Privacy, Equity, Oversight와 관련된 문제들은 기존의 정적이고 단일 주체 중심의 규제로는 Addressing하기 어렵다.

이 연구는 AI agents의 Governance를 위해 기존의 입법 도구를 정교화하는 것을 넘어, 규제 당국의 Technical Expertise 와 Operational Capacity 를 확장하는 방향으로 규제를 Reimagine 할 필요가 있다는 중요한 시사점을 제공한다. 이는 EU 뿐만 아니라 전 세계의 Policymaker와 Technologist에게 차세대 AI technology를 효과적으로 Govern하기 위한 필수적인 Lessons Learned 를 제공하며, AI agents의 안전하고 윤리적인 Deployment를 위한 새로운 규제 패러다임의 필요성을 역설한다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.