[논문리뷰] AUDITFLOW: Executable Symbolic Environments for Structured Financial Reporting Verification

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yan Wang, Xuguang Ai, Jaisal Patel, Xueqing Peng, Fengran Mo, Yupeng Cao, Haohang Li, Mingyu Cao, Lingfei Qian, Víctor Gutiérrez-Basulto

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• XBRL (eXtensible Business Reporting Language): 금융 보고서의 수치 데이터를 특정 회계 개념, 기간, 단위 등과 연결하여 구조화하는 표준 언어입니다.
• Symbolic Environment: 정적(Static)인 US-GAAP taxonomy graph와 동적(Dynamic)인 XBRL filing graph로 구성된 실행 가능한 구조적 환경입니다.
• Dual-Graph Audit Environment: taxonomy의 규칙과 filing의 실제 데이터를 독립적으로 관리하고 연결하여 검증 가능한 토대를 제공하는 프레임워크의 핵심 환경입니다.
• Determinism (Deterministic Checks): LLM의 추론에 의존하지 않고, 정의된 계산식과 규칙에 따라 수치적 정확성을 보장하는 사전에 결정된(Hard-coded) 검증 로직입니다.
• Joint Audit Accuracy (Joint ACC): verdict, reported value, expected value가 모두 정확해야만 성공으로 간주하는 평가 지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM 기반의 금융 감사 모델이 구조화된 XBRL 데이터 내의 수치적 일관성을 검증하는 데 겪는 신뢰성 문제를 해결하고자 합니다. 기존 LLM 에이전트들은 검색이나 도구 활용 능력이 뛰어나지만, 정작 중요한 수치 계산 및 규칙 적용을 모델의 추론 능력에 의존함으로써 높은 오류율을 보입니다 [Figure 1]. 이러한 방식은 복잡한 금융 규칙이나 taxonomy 제약 사항이 개입될 경우 정확한 감사 결과를 보장하지 못하며, 특히 수치 데이터의 상호작용이 중요한 금융 도메인에서 한계를 드러냅니다.

Figure 1 — XBRL 감사 검증 사례

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 탐색과 계산을 분리하여 신뢰성을 확보하는 AuditFlow 프레임워크를 제안합니다. 이 시스템은 두 명의 주니어 에이전트(Compliance Auditor, Forensic Auditor)가 각각 규제적 관점과 증거적 관점에서 데이터를 검사하고, 시니어 에이전트가 이들의 의견 충돌을 조정하는 다중 에이전트 프로토콜을 따릅니다 [Figure 2]. 각 에이전트는 환경과 직접 상호작용하여 사실을 수집하되, 최종 검증은 오직 사전에 정의된 결정론적 도구(deterministic tools)를 통해서만 이루어집니다. 주요 실험 결과, GPT-5.5를 백본으로 사용했을 때 Joint ACC 82.09%를 기록하여 기존 베이스라인 대비 14.93%p 높은 성능을 달성했습니다. 결정론적 검증 과정을 제거할 경우 정확도가 17.91%까지 급락하며 구조적으로 사용할 수 없는 출력 비율이 35.82%로 증가함을 통해, symbolic environment의 필수적인 역할을 입증하였습니다 [Figure 3].

Figure 2 — AuditFlow 전체 아키텍처

Figure 3 — 모델별 성능 비교 결과

4. Conclusion & Impact (결론 및 시사점)

본 논문은 금융 감사 시스템이 텍스트 중심의 LLM 추론이 아닌, 실행 가능한 symbolic environment를 중심으로 구축되어야 함을 증명합니다. AuditFlow는 search-computation separation 원칙을 통해 신뢰할 수 있는 감사 에이전트의 설계 방향을 제시하였습니다. 이 연구는 금융 규제 준수 및 복잡한 데이터 분석 분야에서 LLM 기반 자동화 시스템의 신뢰성을 크게 향상시킬 수 있는 기술적 토대를 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.