[논문리뷰] AISPA: User-Centric System Prompt Auditing for Large Language Model Applications

링크: 논문 PDF로 바로 열기

메타데이터

저자: Xiangning Lin, Shenzhe Zhu, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• System Prompt: 개발자가 모델의 페르소나, 행동 범위, 안전 지침 등을 설정하기 위해 배포 전 모델에 삽입하는 일련의 사전 정의된 명령어입니다.
• AISPA (Artificial Intelligence System Prompt Assurance): 시스템 프롬프트가 사용자 권익을 침해하지 않고 안전하게 설계되었는지 평가하기 위해 개발된 8개 차원의 사용자 중심 auditing 프레임워크입니다.
• Prompt Span: 시스템 프롬프트를 분석하는 최소 단위로, 자율적인 의도나 행동 지침을 담고 있는 연속적인 문장 혹은 구절을 의미합니다.
• Protective vs. Problematic Instructions: AISPA 프레임워크 내에서 사용자의 이익을 증진하는 지침은 Protective (+1), 사용자의 이익에 반하거나 기만적인 지침은 Problematic (-1)으로 분류됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 상업용 AI 시스템에서 System Prompt의 불투명성과 그로 인한 사용자 신뢰 및 책임성 결여 문제를 해결하고자 합니다. 현재 System Prompt는 모델의 행동을 규정하는 핵심 요소임에도 불구하고, 외부 공개가 제한적이며 독립적인 감사(Audit) 과정이 전무합니다. 기존의 안전 기술은 대부분 외부 공격으로부터 시스템을 방어하는 '적대적 관점'에 치우쳐 있어, 프롬프트 자체가 사용자에게 해를 끼치거나 조작적인 지침을 포함하고 있는지에 대한 검증은 이루어지지 않고 있습니다. 이에 따라 저자들은 시스템 프롬프트가 과연 사용자 이익을 충분히 대변하고 있는지 체계적으로 검토할 필요성을 제기합니다 [Figure 2].

Figure 2 — AISPA의 8가지 감사 차원

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 UDHR(Universal Declaration of Human Rights)에 기반한 8개 차원의 평가 항목을 갖춘 AISPA 프레임워크를 제안하고, LLM과 인간 전문가가 협업하는 3단계 Audit 파이프라인을 구축했습니다. 연구진은 88개 상업용 AI 제품의 3,249개 지침을 분석하여 다음과 같은 정량적 결과를 도출했습니다. 첫째, 98.9%의 제품이 최소 1개 이상의 Protective 지침을 포함하고 있으나, 8개 차원을 모두 포괄하는 제품은 23.9%에 불과하여 안전 범위가 파편화되어 있음을 확인했습니다 [Figure 6]. 둘째, 조사 대상의 약 40%가 사용자의 이익에 반하는 Problematic 지침을 최소 하나 이상 포함하고 있었습니다. 셋째, 2024년부터 2026년 사이 시스템 프롬프트의 길이는 지속적으로 증가했으며, Protective 지침 또한 두 배 이상 늘어나는 긍정적인 추세를 보였습니다 [Figure 5]. 마지막으로, Anthropic과 같은 조직은 높은 수준의 안전성을 유지하는 반면, 일부 서비스에서는 여전히 자동화된 도구 실행 과정에서 사용자 권한을 침해하는 Problematic 지침이 빈번하게 발견되었습니다 [Figure 7].

Figure 5 — 프롬프트 진화의 시간적 추세

Figure 6 — 보호/문제 지침의 보급률 분석

4. Conclusion & Impact (결론 및 시사점)

본 논문은 System Prompt가 AI 시스템의 안전성을 결정짓는 핵심적인 '통제 도구'임을 재확인하고, 이를 투명하게 관리하기 위한 표준화된 감사 프레임워크 AISPA를 확립했습니다. 연구 결과는 상업용 AI 제품군 전반에 걸쳐 안전 지침의 적용이 점진적으로 강화되고 있음을 시사하지만, 여전히 기만적이거나 조작적인 지침이 잔존하고 있다는 점을 강조합니다. 본 연구는 학계와 산업계에 시스템 프롬프트의 독립적인 외부 감사 필요성을 일깨우며, AI 제품의 투명성과 신뢰성을 높이기 위한 미래 정책 및 기술 표준 수립의 중요한 토대를 제공할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.