[논문리뷰] BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence

링크: 논문 PDF로 바로 열기

메타데이터

저자: Chuxuan Hu, Yeye He, Penny Zhou, Wee Hyong Tok, Daniel Kang, Surajit Chaudhuri

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• BI-Bench: 실무 환경의 Power BI 프로젝트에서 수집된 비즈니스 질문과 그에 대응하는 정답 테이블 쌍으로 구성된, end-to-end BI 자동화 성능 평가를 위한 최초의 벤치마크 데이터셋입니다.
• End-to-End BI: 원시 데이터(Raw data)로부터 데이터 탐색(Search), 변환(Transform), 조인(Join), 그리고 최종 분석(Analysis)까지의 전체 워크로드를 자동으로 수행하여 비즈니스 질문에 답변하는 과정을 의미합니다.
• Table-reshaping Transformations: 피벗 테이블과 같이 비정형화된 데이터를 관계형 분석이 가능한 형태로 변환하는 기법(예: Unpivot, Transpose)으로, LLM이 기존 데이터 분석 과정에서 가장 어려움을 겪는 부분입니다.
• BI-Agent: LLM을 백본으로 사용하여 데이터 관리 전문 툴을 호출하고, 도메인 특화 지식을 결합해 end-to-end BI 워크플로우를 자동화하도록 설계된 에이전트 시스템입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대 엔터프라이즈의 핵심 의사결정 수단인 BI 워크로드가 데이터 준비 단계의 복잡성으로 인해 자동화하기 어렵다는 문제를 해결하고자 합니다. 기존 Power BI나 Tableau 같은 플랫폼은 분석 전 단계(데이터 탐색, 정제, 조인 등)에서 사용자에게 많은 전문성을 요구하며, 이로 인해 비기술적 엔터프라이즈 사용자들이 고충을 겪고 있습니다. 기존의 NL2SQL 벤치마크는 이미 잘 정제된 데이터 기반의 최종 분석 단계에만 집중하고 있어, 실제 BI 환경의 비정형 데이터 처리 문제를 반영하지 못한다는 한계가 있습니다 [Figure 2]. 이에 저자들은 실제 실무 대시보드 프로젝트에서 추출한 end-to-end 워크플로우를 통해 LLM의 실질적인 데이터 관리 및 분석 능력을 체계적으로 평가하고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 BI-Agent를 제안하여 LLM이 데이터 관리 기능을 독립적으로 수행할 수 있도록 에이전틱 툴(Agentic tools)을 통합하고, 데이터 관리 알고리즘을 반영한 워크플로우를 구축하였습니다 [Figure 5]. 구체적으로, 데이터의 형태를 관계형으로 바꾸는 Table-reshaping 작업과 대규모 스키마에서의 조인 최적화 등을 데이터 관리 전문 알고리즘이 지원하도록 설계하였습니다 [Figure 3]. 또한, 실제 BI 프로젝트에서 합성된 훈련 데이터를 바탕으로 SFT(Supervised Fine-Tuning) 및 RL(Reinforcement Learning)을 수행하는 포스트 트레이닝 프레임워크를 도입하였습니다. 실험 결과, BI-Agent는 일반 LLM 대비 최대 40% 포인트의 정확도 향상을 보였으며, 포스트 트레이닝된 모델은 훨씬 작은 규모의 Qwen3-8B 모델임에도 불구하고 더 큰 규모의 모델들과 대등한 성능을 내면서도 비용을 약 50배까지 절감하는 성과를 거두었습니다 [Figure 1]. 이러한 결과는 복잡한 BI 워크플로우에서 도메인 특화 툴 호출과 타겟팅된 포스트 트레이닝의 결합이 필수적임을 입증합니다.

Figure 1 — 모델 성능 및 비용 비교

Figure 3 — 데이터 변환 예시(Unpivot)

4. Conclusion & Impact (결론 및 시사점)

본 연구는 BI-Bench를 통해 실질적인 end-to-end BI 자동화의 지표를 제시하였으며, BI-Agent를 통해 데이터 관리 및 분석 분야에서 LLM 활용의 새로운 방향성을 제시하였습니다. BI-Agent는 기술적 전문성이 부족한 사용자들이 복잡한 데이터 조작 과정 없이도 데이터 기반의 의사결정을 내릴 수 있도록 돕는 실질적인 해결책을 제공합니다. 이는 학계에는 BI 분야의 자동화라는 새로운 연구 과제를 제공하고, 산업계에는 엔터프라이즈 데이터 활용 비용을 혁신적으로 낮출 수 있는 실무적 토대를 마련했다는 점에서 큰 의미가 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.