[논문리뷰] DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces

링크: 논문 PDF로 바로 열기

메타데이터

저자: Boyan Li, Zhuowen Liang, Yupeng Xie, Xiaotian Lin, Tianqi Luo, Xinyu Liu, Yizhang Zhu, Zhangyang Peng, Yuan Li, Zhengxuan Zhang, Jiayi Zhang, Nan Tang, Guoliang Li, Yuyu Luo

1. Key Terms & Definitions (핵심 용어 및 정의)

• Data Agents: 자연어 인터페이스를 통해 복잡한 데이터 분석을 수행하며, 다양한 데이터 소스에서 증거를 탐색, 결합 및 분석하여 최종 결과를 생성하는 AI 시스템입니다.
• Heterogeneous Workspaces: 단일 데이터베이스에 국한되지 않고 CSV, JSON, SQLite, Markdown, PDF, Video 등 다양한 포맷의 데이터가 혼재된 실제 조직의 데이터 환경을 의미합니다.
• DataSpace-Builder: Text-to-SQL 인스턴스를 활용하여 복잡하고 검증 가능한 다중 모달 데이터 분석 작업을 생성하는 자동화된 프레임워크입니다.
• Deterministic Evaluation: 모델이 제출한 결과물에 대해 텍스트나 포맷의 미세한 차이를 보정하고, 타입 및 수치 일치성을 엄격하게 판단하여 정량적으로 평가하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대적인 데이터 분석 환경에서 에이전트의 성능을 신뢰성 있게 평가할 수 있는 통합된 벤치마크가 부재하다는 문제점을 해결하고자 합니다. 기존 연구들은 단순 질의 응답이나 단일 유형의 데이터 소스에만 치중하거나, 결과에 대한 정량적 검증이 부족하다는 한계를 지닙니다 [Table 1]. 따라서 저자들은 데이터 에이전트가 현실적인 workspace 내에서 분산된 정보를 탐색하고, 전체적인 Tabular Result를 생성하며, 이를 명확하게 검증할 수 있는 새로운 접근 방식인 DataSpace를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 DataSpace-Builder라는 실행 기반 프레임워크를 통해 410개의 Cross-Language 데이터 분석 태스크를 구축했습니다 [Figure 2]. 이 프레임워크는 Cross-Language Transformation을 통해 다국어 지원을 구현하고, Constraint-Aware Relational Sampling을 거쳐 타당성을 확보하며, Modality Routing & Artifact Rendering을 통해 PDF, 비디오 등 다양한 모달리티를 데이터 분석에 통합합니다. 최종적으로 인간 전문가의 검토 및 수정 과정을 통해 태스크의 품질을 높였습니다. 평가 결과, 최신 멀티모달 모델들의 성능은 최고 66.34%의 정확도에 도달하였으나, Harness 선택에 따라 15.36점의 성능 격차가 발생하는 것으로 나타났습니다. 특히, 다중 모달 증거 통합(Multimodal Evidence Integration)과 복잡한 Join 연산은 모든 Backbone 모델의 성능을 저하시키는 핵심 요인임이 밝혀졌습니다.

Figure 2 — DataSpace-Builder 프레임워크

4. Conclusion & Impact (결론 및 시사점)

본 논문은 다양한 모달리티가 혼재된 Workspace 환경에서 데이터 에이전트의 실질적인 능력을 평가하는 새로운 이정표를 제시합니다. DataSpace는 공식적인 KDD Cup 2026 데이터 에이전트 경쟁의 평가 지표로 활용되었으며, 학계와 산업계에 에이전트 신뢰성 향상을 위한 구체적인 도전 과제를 제공합니다. 이 연구는 향후 데이터 분석 에이전트가 단순한 질의 응답을 넘어 현실 세계의 복잡한 데이터 분석 환경으로 진화하는 데 중요한 기반이 될 것으로 기대됩니다.

Figure 1 — DataSpace 작업 인터페이스

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.