[논문리뷰] DynaFlow: Learning Free-Form Multi-Agent Orchestration

링크: 논문 PDF로 바로 열기

저자: Ruhao Liu, Qi Li, Shizun Wang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 핵심적으로 다루는 개념들은 다음과 같이 정의됩니다.

• Free Orchestration: Main Agent가 협업의 필요성을 판단하고, 문제 해결 과정에서 태스크별 Workflow를 자유롭게 구축하는 능력입니다.
• Main Agent: Task-solving을 담당하는 주 Agent로, 직접 답변, 일반 Tool 사용, 또는 Workflow Program 생성을 결정하며 Sub-agents의 협업을 조율합니다.
• Sub-agents: Main Agent에 의해 위임된 서브태스크를 실행하는 전문 Agent들로, Workflow 내에서 고정된(Frozen) 상태로 운영되며 Orchestration 학습의 대상이 아닙니다.
• Workflow Program (P): Main Agent가 합성하는 JavaScript 코드 형태로, Sub-agent의 역할, 순차적 또는 병렬적 의존성, 그리고 중간 Output의 전달, 통합, 검증 방식을 명시합니다.
• Execution Trace: Workflow Tool이 Workflow Program을 실행한 후 반환하는 정보로, 프로그램의 최종 Output과 각 Sub-agent 호출의 상태 및 Output 기록을 포함하며, Main Agent의 후속 결정을 위한 Feedback으로 사용됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존 Multi-Agent Systems (MAS)는 미리 정의된 고정된 협업 구조에 의존하여 다양한 태스크 요구사항에 대한 적응력이 제한되는 문제에 직면해 있습니다. 이러한 고정된 구조는 불필요한 Communication, Latency, Computation을 초래할 수 있으며, 특히 태스크의 복잡성과 유형이 다양할 때 비효율적입니다. 기존의 자동화된 Workflow 설계 접근 방식들 또한 Workflow 구성 및 적응에 있어 여전히 제약사항을 가지고 있어, 유한한 Operator Template을 사용하거나 중간 Execution 결과 없이 단일 결정으로 전체 Coordination 구조를 생성하는 한계가 있었습니다. 저자들은 이러한 기존 연구의 경직성과 비효율성을 극복하고, 확장 가능한 MAS를 위해 Free Orchestration 능력, 즉 Main Agent가 협업의 필요성을 판단하고 태스크별 Workflow를 동적으로 구성하는 능력이 필수적이라고 주장합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Main Agent의 Action Space에 Free-form Executable Workflow Synthesis를 통합하는 DynaFlow 프레임워크를 제안합니다. Main Agent는 직접 답변, 일반 Tool 사용, 또는 JavaScript Workflow Program (P) 생성을 선택할 수 있으며, 이 프로그램은 Sub-agent의 역할, 순차적/병렬적 의존성, 정보 교환 및 Verification 방식을 코드 형태로 정의합니다. Workflow 실행 결과와 Execution Trace는 Main Agent의 다음 결정을 위한 Feedback으로 활용되어, 추론이 진행됨에 따라 협업 방식을 유연하게 조정할 수 있게 합니다 [Figure 2]. DynaFlow의 학습은 Orchestration Learning을 Sub-agent Training과 분리하여 오직 Main Agent만 두 단계에 걸쳐 훈련합니다. 첫 번째 Stage 1에서는 Teacher Model이 생성한 Trajectory Distillation을 통해 Main Agent를 Supervised Fine-tuning (SFT)하고, 이어지는 Stage 2에서는 Orchestration Quality를 기준으로 선별된 고품질 Demonstration들, 특히 Unsupported Premises, Biased Verification, Information-flow Defects가 없는 샘플들을 사용하여 정책을 정제합니다.

주요 실험 결과로, DynaFlow는 Qwen3.5-27B Backbone을 사용하여 6개의 Benchmark에서 88.08%의 Overall Accuracy를 달성하여, 가장 강력한 Baseline 대비 10.90%p 더 높은 성능을 보였습니다 [Table 1]. 특히, DynaFlow (Forced)는 AIME 2024, 2025, 2026 벤치마크에서 100% Accuracy를 기록했습니다 [Table 1]. 또한, Dynamic Mode에서는 87.94%의 Accuracy를 유지하면서도 전체 질문의 47.1%를 Workflow 호출 없이 직접 답변하여, Forced Execution 대비 평균 41% 더 적은 Sub-agent (2.44 vs. 4.16)를 사용했습니다 [Figure 1]. Workflow 분석 결과, 훈련 후 Hybrid Workflow 구성 비율이 Base 모델의 3.4%에서 Stage 2 모델의 85.6%로 크게 증가했으며, Upstream Outputs의 명시적 사용 및 정제 비율 또한 12.6%에서 97.7%로 향상되어 정보 흐름의 개선을 보였습니다 [Figure 5]. Information-flow Defects를 줄이는 고품질 데이터 선별 후 Stage 2 훈련을 통해 Major Information-flow Defects는 Stage 1의 1.9%에서 0.9%로 감소했습니다 [Figure 4].

4. Conclusion & Impact (결론 및 시사점)

DynaFlow는 Free-form Executable Workflow Actions와 Trajectory Distillation 및 Orchestration Quality 기반의 Demonstration Selection을 통한 2단계 Main Agent Training을 결합하여 Multi-Agent 시스템의 협업 능력을 혁신적으로 개선합니다. 본 연구는 평가된 방법론들 중 가장 높은 Overall Accuracy를 달성했으며, 특히 Dynamic Execution에서 거의 절반의 질문을 Workflow 없이 직접 답변하면서도 Forced Execution에 근접한 성능을 유지하는 Adaptive Workflow Invocation의 효율성을 입증했습니다. Workflow 분석을 통해 Training이 Workflow의 구조와 중간 결과의 활용 방식을 어떻게 변화시키는지 구체적으로 밝혀냈습니다. 이 연구는 학계 및 산업계에 Fixed된 Sub-agent들을 활용하면서도 Orchestrator (Main Agent)의 Training을 통해 MAS의 확장성과 적응성을 크게 향상시킬 수 있다는 중요한 시사점을 제공하며, 효과적인 Orchestration의 핵심 요소로서 Cross-stage Information Flow의 중요성을 강조합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.