[논문리뷰] MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation

링크: 논문 PDF로 바로 열기

저자: Yuhan Sun, Jiaxin Zhao, Yongdong Luo, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Hierarchical Multi-Agent System (H-MAS): Leader Agent가 전체 Task를 Subagent들에게 분해하여 할당하고, Subagent(Searcher, Answerer)들은 각자 맡은 역할을 수행하며 정보를 수집 및 요약하여 Leader에게 보고하며, Leader는 이를 종합하여 최종 답변을 생성하는 시스템 구조를 의미합니다.
• On-Policy Distillation (OPD): Student Policy가 생성한 Trajectory에 대해 Teacher Policy의 Log-Probability를 바탕으로 Local Process Supervision을 제공하는 학습 기법입니다. 본 논문에서는 Task-trained Teacher가 Searcher Agent의 Token-level Guidance를 제공하는 데 사용됩니다.
• Leader–Searcher–Answerer Team: 질문 응답 Task를 수행하는 계층적 Multi-Agent 시스템의 세 가지 핵심 역할을 의미합니다. Leader는 Task 분해 및 Subagent 조정, Searcher는 정보 검색 및 요약, Answerer는 최종 답변 생성을 담당합니다.
• Macro avg@4: 여러 Dataset에 걸쳐 각 질문에 대해 4번의 시도에서 얻은 평균 정답률(avg@4)을 Dataset별로 동등하게 가중 평균한 Metric으로, 시스템의 전반적인 성능을 평가하는 데 사용됩니다.
• Group-Relative Policy Optimization (GRPO): Policy Optimization 기법 중 하나로, 본 논문에서는 동일한 질문에 대한 여러 Trajectory 그룹 내에서 Reward를 정규화하여 Advantage를 계산하는 데 사용됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 계층적 Multi-Agent 시스템, 특히 Leader–Subagent 구조에서 Leader와 Subagent들을 End-to-End로 Joint Training하는 데 따르는 고유한 어려움을 해결하고자 합니다. 최종 답변의 Correctness가 Subagent들의 개별 중간 Action에 대한 간접적인 Feedback만 제공하기 때문에, 각 역할(Role)에 맞는 적절한 Learning Signal을 제공하는 것이 어렵습니다. 기존 연구들은 LLM Judge를 활용하여 Subtask Execution에 대한 Local Supervision을 제공하기도 하지만, 이러한 Judge의 평가는 편향(Bias)이나 추론 오류(Reasoning Errors)에 취약하며, 일련의 Search Decision에 대한 상세한 Guidance를 제공하기 어렵다는 한계가 있습니다. 또한, 특정 Subagent의 유용한 Report가 다른 역할의 실패로 인해 최종적으로 긍정적인 Outcome Reward를 받지 못할 수 있어, Searcher와 같은 중간 역할을 효과적으로 학습시키기 위한 더 Informative한 Feedback 메커니즘이 필요합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 계층적 Multi-Agent 시스템의 End-to-End Training을 위해 On-Policy Distillation (OPD)과 Reinforcement Learning (RL)을 결합한 MultiAgent-OPD라는 Two-stage Framework를 제안합니다 [Figure 1, 2].

Stage I에서는 Answer Correctness Reward를 사용하여 더 단순한 Searcher–Answerer Workflow에서 Teacher Policy를 학습시키고, 이 Policy를 Frozen Teacher $\pi_T$로 고정합니다. 이 단계는 검색 및 요약 작성 능력을 Teacher에게 부여합니다.

Stage II에서는 계층적 Student Model을 Training합니다. Leader와 Answerer는 Team Success와 Candidate Correctness를 기반으로 하는 Outcome Reward로부터 학습하며, GRPO (Group-Relative Policy Optimization)를 사용하여 Advantage를 계산합니다. Searcher는 Frozen Teacher $\pi_T$로부터 Token-level OPD Guidance를 받습니다. 이는 Student가 생성한 검색 및 요약 토큰에 대해 Teacher의 Log-Probability와 Student의 Log-Probability 간의 차이를 Advantage로 활용하여 Local Process Supervision을 제공합니다. 이 접근 방식은 Searcher가 중간 증거 수집의 Downstream Value에 관계없이 Task-trained Teacher의 검색 전략을 모방하도록 돕습니다. 모든 세 가지 Role은 단일 Shared Student Model을 Jointly Update하며, Inference 시에는 Trained Student Model만 사용됩니다.

실험 결과, MultiAgent-OPD는 7개의 Question-Answering Dataset에서 38.68%의 Macro avg@4를 달성하여 평가된 시스템 중 가장 높은 성능을 보였습니다 [Table 1]. 이는 Prompted Critic 대비 4.06 percentage points, C-MAS + RL 대비 2.61 percentage points 높은 수치입니다 [Table 2]. 또한, MultiAgent-OPD는 RL-based Search Agents 중에서도 State-of-the-Art 성능을 기록했습니다. 진단적 비교(Diagnostic Comparisons)에 따르면, Outcome-based Searcher RL은 Search Behavior의 Collapse를 초래하여 Macro avg@4가 17.78%로 크게 낮아졌으며, Task-trained Teacher를 사용하지 않고 Base Model Teacher를 사용할 경우 Macro avg@4는 29.50%로 감소했습니다 [Table 3]. 이는 Local Process Supervision을 위한 Task-trained Teacher의 중요성을 입증합니다. MultiAgent-OPD는 더 많은 Search Action과 Input Token을 사용하지만, 이는 Searcher의 유용한 행동을 지속시키는 Learning Signal 덕분에 Correctness Gain으로 이어집니다 [Figure 4].

4. Conclusion & Impact (결론 및 시사점)

MultiAgent-OPD는 Task-trained Teacher를 활용한 Local Searcher Supervision, Leader를 위한 Team Success 기반 Reward, Answerer를 위한 Candidate Correctness 기반 Reward를 결합하여 계층적 Multi-Agent 팀을 End-to-End로 Joint Training하는 효과적인 Framework를 제안합니다. 이 연구는 기존 방법론 대비 7개 Dataset에서 더 높은 Macro avg@4 및 Macro pass@4를 달성하며, 특히 Prompted Critic 및 Cascaded Multi-Agent 시스템보다 우수한 성능을 입증했습니다. 이 연구의 핵심 시사점은, 보다 단순한 Workflow에서 학습된 Policy가 복잡한 계층적 Multi-Agent 시스템의 Joint Training 과정에서 Subagent들에게 효과적인 Process Supervision을 제공할 수 있음을 보여준다는 점입니다. 이는 LLM 기반 Multi-Agent 시스템의 Training 패러다임에 중요한 영향을 미치며, 특히 복잡한 Task에서 Agent들의 협업 및 개별 역할의 학습을 개선하는 새로운 방향을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.