[논문리뷰] Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yipeng Li, Ashutosh Hathidara, Jane Lo, Harshavardhan Abichandani, Gunraj Singh, Atin Ghosh

1. Key Terms & Definitions (핵심 용어 및 정의)

• STS (Synthesis Through Simulation): API 계층의 정책 준수 기능을 활용하여 구조적으로 유효한 기업용 데이터를 생성하는 합성 패러다임입니다.
• GP (Generalist Populator): 도메인에 구독되지 않는 STS의 에이전트로, 오직 Tool Registry만을 사용하여 데이터를 합성하는 도구입니다.
• VPR (Validation Pass Rate): 합성된 데이터가 기업의 비즈니스 규칙 및 제약 조건을 얼마나 준수하는지를 측정하는 지표입니다.
• ExplorationManifest: 에이전트가 환경 학습을 통해 축적한 구조적 지식, 배포 가중치, 재사용 가능한 휴리스틱을 저장하는 메모리 저장소입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기업용 AI 에이전트 훈련 및 평가에 필수적인 데이터셋이 보안 및 개인정보 보호 규제로 인해 구축하기 어렵다는 문제를 해결합니다. 기존의 Tabular Data Synthesis 방식은 레코드 독립성으로 인해 기업의 복잡한 관계형 정책을 위반하기 쉽고, Procedure-based Synthesis 방식은 배포 충실도(Distributional Fidelity)가 부족하며 도메인마다 수동 설계가 필요하다는 한계가 있습니다. 저자들은 데이터 합성과 환경 정책 강제 과정을 분리함으로써, 구조적 유효성을 보장하면서도 확장 가능한 데이터 생성 방식을 제안합니다 [Figure 1].

Figure 1 — STS 프레임워크 전체 구조

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 데이터 생성을 API 계층의 강제적 정책 수행과 결합하여 Structural Validity를 구조적으로 보장하는 STS 프레임워크를 제안합니다. 제안된 GP 에이전트는 Explore, Plan, Execute의 3단계 루프를 통해 데이터 생성을 수행하며, Database Schema에 대한 접근 없이도 Tool Registry 정보만으로 작업합니다 [Figure 1]. 실험 결과, GP는 10개의 환경에서 VPR=1.0을 달성하여 완벽한 구조적 유효성을 보였습니다. 특히, Airline 환경에서 GP는 MDF 0.973, PDF 0.900, CDF 0.949의 높은 충실도를 기록했으며, 이는 스키마 기반의 기존 에이전트(EnvScaler)가 복잡한 워크플로우에서 82%의 실패율을 보이는 것과 대조적인 성과입니다 [Table 3]. 또한, K=3 정도의 Exploration Budget만으로도 효율적인 데이터 생성이 가능함을 확인하였습니다 [Figure 4].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 환경 시뮬레이션을 통해 데이터 생성의 유효성과 분포 충실도를 독립적으로 해결하는 효과적인 패러다임을 제시했습니다. STS는 Schema-free 환경에서도 높은 성능을 발휘하여 기업 환경의 데이터 프라이버시 문제를 완화하고, 자동화된 데이터 합성 파이프라인 구축의 새로운 기준을 마련했습니다. 이 연구는 향후 복잡한 비즈니스 워크플로우를 처리해야 하는 에이전트 훈련을 위한 스케일러블한 데이터 생성 도구로서 산업계 전반에 큰 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.