[논문리뷰] SEAR: Schema-Based Evaluation and Routing for LLM Gateways

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

메타데이터

저자: Zecheng Zhang, Han Zheng, Yue Xu

1. Key Terms & Definitions (핵심 용어 및 정의)

• LLM-as-Judge : 하나의 LLM이 다른 LLM의 응답 품질이나 특성을 평가하는 기법으로, 이 논문에서는 SEAR 프레임워크의 핵심 평가 엔진으로 활용됨.
• Relational Schema : 평가 결과를 100여 개의 typed 컬럼으로 구조화하여 SQL로 쿼리 가능하게 만든 데이터 모델.
• Cross-table Consistency : 4개의 의미론적 평가 테이블 간 외래 키(foreign-key) 및 논리적 관계를 설정하여 LLM 평가 오류나 환각을 검출하는 메커니즘.
• In-schema Reasoning : JSON 구조 내에 reasoning 텍스트 필드를 포함시켜, 별도의 추가 LLM 호출 없이 구조화된 출력 생성 과정에서 추론을 동시에 수행하는 기법.
• Gateway Metrics : latency, cost, throughput, error rate 등 LLM 게이트웨이가 요청 처리 과정에서 실시간으로 기록하는 운영 지표.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

생성형 AI의 생산 환경 도입이 확산됨에 따라 다양한 모델과 제공자를 효율적으로 관리하고 라우팅하는 LLM gateway의 중요성이 커지고 있습니다. 그러나 기존의 평가 방식은 비정형 텍스트 기반이거나 단순한 점수 매기기에 그쳐, 복잡한 요청 상황에 대한 상세한 진단이나 운영 지표와의 결합이 어렵다는 한계가 있습니다. 또한, 기존의 라우팅 기법들은 의사결정 과정이 블랙박스 형태로 제공되어 운영자가 왜 특정 모델이 선택되었는지 이해하기 어렵습니다. 저자들은 평가 신호와 운영 지표를 통합하고, 상세한 근거 기반의 라우팅을 가능하게 하는 체계적인 평가 시스템인 SEAR를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

SEAR는 LLM 평가 세션을 4개의 논리적 테이블로 분해하여 구조화된 신호를 생성하는 schema-driven judge를 도입합니다. 이 과정에서 self-contained signal instructions를 통해 컬럼 간 간섭을 줄이고, in-schema reasoning을 통해 단일 autoregressive 패스 안에서 고품질 추론을 수행합니다 [Figure 2]. 특히 multi-stage generation을 통해 요청 라이프사이클에 따라 단계적으로 테이블을 생성함으로써 JSON 출력의 신뢰성을 극대화합니다. 실험 결과, SEAR는 3,000개의 생산 세션에서 휴먼 평가 대비 높은 정확도를 기록했습니다. 정량적 지표로 boolean accuracy는 91% 이상, categorical accuracy는 92% 이상을 달성했습니다 [Figure 3]. 또한, 라우팅 케이스 스터디에서 기존 대비 input cost를 90%, output cost를 92% 절감하면서도 품질이 대등한 모델을 효과적으로 식별해냈습니다.

4. Conclusion & Impact (결론 및 시사점)

SEAR는 데이터 기반 평가와 라우팅을 SQL 쿼리 가능한 계층으로 통합하여 LLM 애플리케이션 운영의 투명성과 효율성을 크게 향상시켰습니다. 본 연구는 정형화된 스키마 기반 평가가 실제 운영 환경에서 모델의 성능을 진단하고 최적화하는 데 실질적인 도움이 됨을 입증했습니다. 특히 인간 해석이 가능한 근거 기반 라우팅은 기업 환경에서 LLM 게이트웨이 전략을 수립하는 데 중요한 이정표가 될 것입니다. 향후 본 시스템은 더욱 다양한 오픈소스 모델을 포함하고 실시간 라우팅 적용 범위를 넓히는 방향으로 발전할 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 1",
    "image_url": "https://arxiv.org/html/2603.26728/2603.26728v1/x1.png",
    "caption_kr": "SEAR 시스템 아키텍처 및 데이터베이스 스키마"
  },
  {
    "figure_id": "Figure 2",
    "image_url": "https://arxiv.org/html/2603.26728/2603.26728v1/x2.png",
    "caption_kr": "다단계 구조화 출력 생성 프로세스"
  },
  {
    "figure_id": "Figure 3",
    "image_url": "https://arxiv.org/html/2603.26728/2603.26728v1/x3.png",
    "caption_kr": "신호 유형별 평가 정확도"
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.