[논문리뷰] DeonticBench: A Benchmark for Reasoning over Rules

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

저자: Guangyao Dou, Luis Brena, Akhil Deo, William Jurayj, Jingyu Zhang, Nils Holzenberger, Benjamin Van Durme

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Deontic Reasoning : 의무(obligations), 허가(permissions), 금지(prohibitions)와 같은 규범적 명제들을 명시적 규칙 하에서 추론하는 능력입니다.
• Prolog : 논리 프로그래밍 언어로, 본 논문에서는 법령 및 사례 사실을 실행 가능한 코드 형태의 추론 체인으로 변환하는 데 사용됩니다.
• Autoformalization : 자연어 형태의 규칙 및 사실들을 기계가 실행 가능한 정형 언어(Prolog 등)로 자동 변환하는 과정입니다.
• Hard Set : 대규모 벤치마크 데이터셋 중 자동 필터링과 인간 검수를 거쳐 모델의 성능 차이를 명확히 구분할 수 있도록 설계된 고난도 평가 세트입니다.
• Macro-F1 : 불균형한 데이터셋 환경에서 각 클래스의 F1 점수를 평균 내어 모델의 분류 성능을 평가하는 주요 지표입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 고위험 법적·정책적 영역에서 LLM 이 명시적인 규칙을 충실히 따르지 못하고 할루시네이션을 일으키는 문제를 해결하기 위해 DEONTICBENCH 를 제안합니다. 기존의 수학적 추론 중심 벤치마크는 실제 법률이나 정책과 같은 긴 문맥의 복잡한 규정 준수 능력을 평가하는 데 한계가 있습니다. 특히 고위험 환경에서 LLM 의 결정은 법적, 재정적 리스크를 초래할 수 있으므로, 단순한 텍스트 생성을 넘어 규칙에 근거한(rule-grounded) 충실한 추론 능력이 필수적입니다. [Figure 1]에서 보여지듯, 모델이 규칙과 사례 사실을 기반으로 Prolog 를 생성하고 이를 해석하는 과정은 모델의 추론 과정을 투명하게 검증하는 수단을 제공합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 LLM 이 자연어로 된 법령과 사실 관계를 Prolog 코드로 변환하여 심볼릭 솔버를 통해 해답을 도출하는 '솔버 지원 워크플로우'를 핵심 방법론으로 제안합니다. 평가를 위해 미국 연방 세금, 항공사 수하물 정책, 이민 행정, 주택법 등 4개 영역 6,232개의 태스크로 구성된 DEONTICBENCH 를 구축하였습니다. 실험 결과, GPT-5.1 , O3 와 같은 최신 frontier 모델들조차 하드 서브셋에서는 성능 저하를 보였으며, [Table 2]에 명시된 바와 같이 일부 도메인에서는 Macro-F1 점수가 50점 미만에 머무는 등 정밀한 규칙 기반 연산에 취약함을 드러냈습니다. 또한, SFT 와 RL 학습을 통한 성능 개선을 시도했으나, 특히 SARA Numeric 과 같은 수치 연산 및 정밀 추론이 필요한 영역에서는 여전히 성능 개선이 제한적이었습니다.

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 복잡한 법적 규칙과 정책을 다루는 LLM 의 추론 능력이 아직 초기 단계에 머물러 있음을 입증하며, 대규모 규칙 기반 벤치마크인 DEONTICBENCH 를 통해 향후 연구의 이정표를 제시합니다. 본 연구의 결과는 단순히 모델의 정확도를 평가하는 것에 그치지 않고, 왜 모델이 실패하는지에 대한 도메인별 오류 유형을 분석하여 추후 신뢰성 있는 symbolic-neural 통합 모델 설계의 기초 자료가 됩니다. 학계와 산업계는 이 벤치마크를 통해 모델의 투명성과 법적 준수성을 측정하고, 고위험 분야에서의 AI 도입에 필요한 안전 가이드라인을 개발하는 데 활용할 수 있을 것입니다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 1",
    "page": 2,
    "bbox_top": 0.11,
    "bbox_bottom": 0.36,
    "bbox_left": 0.15,
    "bbox_right": 0.85,
    "caption": "Walkthrough of a DEONTICBENCH instance in the symbolic setting.",
    "importance": "Symbolic workflow(Prolog 변환 및 실행)를 설명하는 핵심 다이어그램"
  },
  {
    "figure_id": "Table 2",
    "page": 5,
    "bbox_top": 0.08,
    "bbox_bottom": 0.45,
    "bbox_left": 0.15,
    "bbox_right": 0.85,
    "caption": "Main results across five domains.",
    "importance": "다양한 모델과 프롬프트 전략에 따른 성능을 나타내는 핵심 결과 테이블"
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.