[논문리뷰] Which Agent's Skill Should Change? Group-Relative Credit Assignment for Evolving Multi-Agent Teams

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I need to extract the information and format it according to the instructions.

Part 1: Markdown Summary

• Authors: Yanan Ma, Yang Wang, David Le, Chenhan Yuan, Yizheng Sun, Guangwei Zhang, Chenghao Xiao, Chenghua Lin, Imon Banerjee
• Keywords: I'll extract 5-8 from the abstract and introduction. Multi-agent systems, LLM agents, Skill evolution, Credit assignment, Group-relative feedback, Behavioral criticism, Structured failure diagnosis, Robustness.
• Sections:
  1. Key Terms & Definitions
  2. Motivation & Problem Statement
  3. Method & Key Results
  4. Conclusion & Impact

Part 2: Important Figure Information (JSON)

I need to identify up to 3 crucial figures, get their image_url and provide a caption_kr. From a quick scan, Figure 1 (framework_v7.png) seems most important as it shows the overall architecture. I will look for other key figures in the results section (tables or graphs). Table 1 and Table 2 present main quantitative results. Table 4 is for robustness. Table 5 for credit assignment to planted skills. Table 3 for answer transitions. Figure 2 and Figure 3 are learned skill cases, which are illustrative but not primary architecture/results. I will pick Figure 1 and relevant results tables.

Let's carefully read each section and extract details.

Key Terms & Definitions:

• GRSE (Group-Relative Skill Evolution): cooperative agents의 skills를 group relative behavioral credit assignment를 통해 진화시키는 training-free framework.
• Skill libraries: agent의 행동을 지정하는 natural-language skills의 모음으로, 재사용 가능하며 수정 가능한 절차.
• Credit Assignment: multi-agent team의 공유된 결과(success or failure)를 어떤 agent의 행동, 그리고 그 행동의 어떤 단계에 귀속시킬지 결정하는 문제.
• Grouped Rollouts: 동일한 질문에 대해 fixed skill libraries 하에 여러 팀 실행(G=4)을 샘플링하여 상대적 이점(relative advantage)을 계산하는 과정.
• Behavioral Credit Assignment: 에이전트의 출력이 틀렸을 때 그 에이전트의 행동을 비난하는 대신, 고수익 및 저수익 실행 간의 행동 차이를 비교하여 결과 차이를 유발한 에이전트에게 책임을 할당하는 과정.
• Structured Failure Analysis: 실패 유형, 인용된 실패 및 성공 단계, 그리고 수정 조치를 포함하여 각 attribution을 근거로 하는 진단 체계.

Motivation & Problem Statement:

• Cooperative language-model agents는 재사용 가능한 skill을 수정함으로써 weight update 없이 성능을 개선할 수 있지만, 이를 위해서는 공유된 팀 보상(shared team reward)이 책임 있는 agent와 skill에 정확히 귀속되어야 하는 Credit Assignment 문제에 직면한다.
• 기존 방법론들은 각 trajectory에 존재하는 skill에 credit을 부여하지만, skill의 '존재'가 '책임'을 의미하지는 않는다. 예를 들어, 성공적인 실행에 활성화된 유해한 skill도 긍정적인 credit을 받을 수 있다.
• MASkills와 같은 기존 SOTA 방법은 단일 trajectory에서 각 skill에 개별적으로 credit을 할당하여, 대조(contrast) 없이 실행될 경우, 실제로 원인이 아닌 성공에도 credit을 부여하는 한계가 있다.
• 다중 에이전트 팀에서의 Behavioral Credit Assignment는 두 가지 주요 도전 과제를 안고 있다. 첫째, 오류가 나타나는 지점을 넘어 원인을 파악해야 한다. 예를 들어, 응답 에이전트의 답변이 틀려도 실제 문제는 정보 검색 에이전트의 부적절한 검색 쿼리일 수 있다. 둘째, attribution은 수정 가능하도록 구체적이고 검증 가능해야 한다. 절차적 결함, 누락된 역량, 도구 실패 등은 각기 다른 대응을 요구하며, 실행 단계를 언급하지 않는 설명은 검증될 수 없다.

Method & Key Results:

• GRSE는 Training-free framework로서, Grouped Rollouts를 통해 동일한 질문에 대해 고정된 skill libraries 하에 여러 완전한 팀 실행(G=4)을 샘플링하여 group-relative advantage를 계산한다. 이 과정에서 고이점(high-advantage)과 저이점(low-advantage) 실행 간의 차이가 결과에 영향을 미친 행동을 지목하게 된다.
• Group-Relative Behavioral Critic Assignment 단계에서 critic은 질문에 대한 모든 실행을 함께 읽고 agent별로 비교하여, 출력이 틀린 agent가 아닌, 고이점/저이점 실행 간 행동이 다른 agent에게 결과 차이를 귀속시킨다. 이는 skill credit (v, e, Δ, R, F, u)를 할당하고, Structured Failure Analysis를 통해 실패 유형(예: skill not followed, skill defect, missing capability), 실패 및 성공 단계 참조, 설명, 제안된 수정 및 조치(refinement, induction, no edit)를 포함하는 진단 d를 제공한다. 이 진단은 Attribution Checks를 통해 검증된다.
• Cross-Question Credit Aggregation을 통해 개별 질문 그룹에서 얻은 attribution은 여러 질문에 걸쳐 집계되어 기존 skill에 대한 수정 방향(edit direction)과 새로운 skill 생성을 위한 증거(induction evidence)를 형성한다. 이를 통해 반복된 실행이 독립적인 증거로 오인되지 않도록 한다.
• Credit-Guided Skill Evolution은 MASkills의 편집 연산자와 유효성 검사 게이트를 재사용하여, 집계된 수정 방향과 유도 증거를 바탕으로 각 agent의 skill library를 진화시킨다. 각 후보 skill library는 업데이트 전 팀과 비교하여 검증 세트 점수를 낮추지 않는 경우에만 수락된다.
• 실험 결과, GRSE는 HotpotQA에서 Qwen3.8 actor 사용 시 MASkills 대비 83.7 F1 대 80.6 F1로 +3.1 F1 포인트의 성능 향상을 보였다. Gemma4 actor 사용 시에도 82.8 F1 대 82.3 F1로 +0.5 F1 포인트 우위를 점했다.
• LoCoMo 벤치마크에서는 GRSE가 open-domain을 제외한 모든 카테고리에서 MASkills보다 우수했으며, 특히 multi-hop 질문에서 Qwen3.8 actor 사용 시 +6.7 F1 및 +5.3 BLEU의 가장 큰 성능 향상을 기록했다. Gemma4 actor 사용 시에도 multi-hop에서 +3.2 F1 및 +2.8 BLEU 개선을 보였다.
• learned skill 분석 결과, GRSE는 MASkills 대비 더 적은 수의 정답을 손상시키며(HotpotQA Qwen3.8에서 -0.6 vs -1.8), 더 나은 grounded retrieval을 통해 답변 품질을 향상시키는 것으로 나타났다. Robustness study에서는 GRSE가 유해한 skill을 정확히 식별하고 제거하여 clean library의 점수를 복구하는 반면, MASkills는 유해한 skill을 오인하여 성능이 저하되는 것을 보였다.

Conclusion & Impact:

• 본 연구는 cooperative language-model team에서 agent의 fixed parameter와 natural-language skills를 통한 행동에 대한 Behavioral Credit Assignment 문제를 성공적으로 해결한다.
• GRSE는 동일한 질문에 대한 여러 실행을 비교하고, Structured Diagnosis를 통해 개별 agent-skill 쌍에 team outcome을 attribution함으로써, 목표 지향적이고 검증된 skill updates를 유도한다.
• HotpotQA 및 LoCoMo 벤치마크에서 GRSE는 기존 SOTA인 MASkills를 능가하는 성능을 보였으며, 특히 multi-hop 질문과 같은 복잡한 task에서 큰 이점을 입증했다.
• 이 연구는 GRSE의 정확한 credit assignment 메커니즘이 harmful skills를 효과적으로 식별하고 제거하는 데 기여하여, robustness를 크게 향상시킨다는 것을 보여준다. 또한 학습된 skill이 cross-task transfer가 가능하여, 다양한 task에 걸쳐 재사용될 수 있음을 시사한다.
• 이러한 결과는 동일한 task의 실행을 비교하는 것이 어떤 agent와 그 행동이 개선되어야 하는지를 결정하는 실용적인 방법임을 제시하며, multi-agent LLM 시스템의 skill evolution 분야에 중요한 시사점을 제공한다.

Figure Selection:

1. Figure 1: framework_v7.png: This is the overall framework diagram. Absolutely essential. https://arxiv.org/html/2610.27227v1/figure/framework_v7.png
2. Table 1: HotpotQA test F1: Key quantitative result table. This is an HTML table, not an image. The instruction specifically says "Table은 이미지가 아닌 HTML 테이블인 경우가 많습니다. 이미지 <img> 태그가 있는 Figure만 선별하세요." So I cannot select Table 1 or Table 2.
3. Table 4: Repairing a perturbed skill library: This is also an HTML table. Cannot select.
4. Table 5: Credit assigned to the planted skills: Also an HTML table. Cannot select.
5. Figure 2: Learned Skill Case A: This is an image, and it illustrates a learned skill case. It could be useful to highlight how GRSE fixes a problem. https://arxiv.org/html/2610.27227v1/figure/case_1_v2.png
6. Figure 3: Learned Skill Case B: Another learned skill case image. Similar to Figure 2. https://arxiv.org/html/2610.27227v1/figure/case_2_v2.png
7. Figure 4: The perturbed seed library: This figure details the setup for the robustness experiment. It shows prompts and skills. This is quite informative. https://arxiv.org/html/2610.27227v1/figure/planted_skills.png
8. Figure 5: Robustness Case 1: Illustrates the harmful skill. https://arxiv.org/html/2610.27227v1/figure/case_3_v2.png
9. Figure 6: Robustness Case 2: Illustrates the harmful abstention rule during training. https://arxiv.org/html/2610.27227v1/figure/case_4_v2.png

I need to choose a maximum of 3.

• Figure 1 (Framework) is a must.
• Figures 2, 3, 5, 6 are specific cases. Figure 4 shows the setup of perturbed skills which is a key part of the robustness analysis, so it might be good. The prompt asks for "전체 아키텍처/프레임워크 다이어그램", "핵심 결과를 보여주는 비교 테이블 또는 그래프", "핵심 방법론을 설명하는 그림". Since tables are excluded, I should focus on architecture and methodology figures. Figure 1 (Framework) for architecture. Figure 4 (Perturbed seed library) for the robustness methodology setup. Maybe one of the learned skill cases that shows how it works. Figure 2 shows an actual case where a declined question becomes correct.

Let's pick:

1. Figure 1: Overall framework.
2. Figure 4: Setup for robustness analysis, directly linked to a key experimental result. This explains a critical part of the methodology/experiment.
3. Figure 2: A qualitative result showing how a skill is learned and applied.

Now I will generate the response.저자: Yanan Ma, Yang Wang, David Le, Chenhan Yuan, Yizheng Sun, Guangwei Zhang, Chenghao Xiao, Chenghua Lin, Imon Banerjee

1. Key Terms & Definitions (핵심 용어 및 정의)

• GRSE (Group-Relative Skill Evolution): cooperative agents의 skills를 group relative behavioral credit assignment를 통해 진화시키는 training-free framework입니다.
• Skill libraries: 각 agent의 행동을 자연어로 정의하는 재사용 가능하고 편집 가능한 절차들의 모음입니다.
• Credit Assignment: 다중 에이전트 팀에서 발생하는 공유된 성공 또는 실패를 특정 에이전트의 행동과 해당 행동의 특정 단계에 정확하게 귀속시키는 문제입니다.
• Grouped Rollouts: 동일한 질문에 대해 고정된 skill libraries 하에서 여러(G=4) 완전한 팀 실행을 샘플링하여, 실행 간의 상대적 이점(relative advantage)을 평가하는 방법입니다.
• Structured Failure Analysis: 에이전트의 실패에 대한 진단 체계로, 실패 유형(예: skill defect, missing capability), 실패 및 성공 단계 참조, 설명, 제안된 수정 및 조치(refinement, induction, no edit)를 포함합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 cooperative language-model agents가 reusable skill을 수정하여 weight update 없이 성능을 개선할 때, 팀의 공유된 결과에 대한 책임이 있는 agent와 skill을 정확히 추적해야 하는 Credit Assignment 문제를 해결하고자 한다. 기존의 skill-learning method들은 각 trajectory에 존재하는 skill에 credit을 부여하는 방식으로 작동했으나, 단순히 skill이 '존재'하는 것이 '책임'을 의미하지는 않는다. 예를 들어, 성공적인 실행 과정에서 활성화된 유해한 skill조차 긍정적인 credit을 받을 수 있었다.

MASkills와 같은 이전 SOTA(State-of-the-Art) 방법들은 각 trajectory를 개별적으로 처리하여, 대조(contrast) 없이 실행될 경우 skill이 실제 원인이 아닌 성공에도 credit을 오인하는 한계가 있었다. 다중 에이전트 팀 환경에서 Behavioral Credit Assignment는 두 가지 주요 도전 과제를 제시한다. 첫째, 오류가 나타나는 최종 출력 지점을 넘어서 실제 원인을 파악해야 한다. 응답 에이전트의 잘못된 답변이 사실은 정보 검색 에이전트의 부적절한 검색 쿼리에서 비롯될 수 있기 때문이다. 둘째, attribution은 단순히 원인을 지목하는 것을 넘어 수정 가능하도록 구체적이고 검증 가능해야 한다. 절차적 결함, 누락된 역량, 또는 도구 실패 등 각기 다른 실패 유형은 상이한 수정 조치를 요구하며, 실행 단계를 명시적으로 언급하지 않는 설명은 검증되기 어렵다. 저자들은 이러한 문제들을 해결하기 위해 Group-Relative Credit Assignment와 Structured Failure Analysis를 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 협력적인 에이전트 팀의 skill을 진화시키기 위한 training-free framework인 GRSE (Group-Relative Skill Evolution)를 제안한다. GRSE는 각 iteration마다 Grouped Rollouts를 수행하여 동일한 질문에 대해 고정된 skill libraries 하에 G=4개의 완전한 팀 실행을 샘플링하고, 각 실행의 상대적 이점(relative advantage)을 계산한다. 이렇게 얻은 고이점(high-advantage) 및 저이점(low-advantage) 실행 간의 차이는 특정 행동이 결과에 미친 영향을 식별하는 데 사용된다.

이후 Group-Relative Behavioral Critic Assignment 단계에서는 critic이 모든 그룹 실행을 종합적으로 분석하여, 단순히 출력이 틀린 에이전트가 아닌, 고이점/저이점 실행 간 행동이 달랐던 에이전트에게 결과 차이를 귀속시킨다. 이때 skill credit (v, e, Δ, R, F, u)를 할당하며, Structured Failure Analysis를 통해 실패 유형, 실패 및 성공 단계 참조, 설명, 제안된 수정 및 조치(refinement, induction, no edit)를 포함하는 진단 d를 제공한다. 이 진단은 Attribution Checks를 통해 실행 증거와의 일관성을 검증받는다. [Figure 1]

Figure 1 — 제안 모델의 전체 아키텍처

이러한 개별 질문 그룹의 attribution은 Cross-Question Credit Aggregation을 통해 여러 질문에 걸쳐 집계되어 기존 skill에 대한 수정 방향(edit direction)과 새로운 skill 생성을 위한 증거(induction evidence)를 형성한다. 이 과정에서 반복된 실행은 독립적인 증거로 오인되지 않도록 가중치가 부여된다. 마지막으로, Credit-Guided Skill Evolution은 집계된 수정 방향과 유도 증거를 바탕으로 각 에이전트의 skill library를 MASkills의 편집 연산자와 유효성 검사 게이트를 사용하여 진화시킨다. 제안된 skill library 후보는 기존 팀의 검증 세트 점수를 낮추지 않는 경우에만 수락된다. [Figure 4]

실험 결과, GRSE는 HotpotQA 벤치마크에서 Qwen3.8 actor를 사용했을 때 MASkills의 80.6 F1 대비 83.7 F1로 +3.1 F1 포인트의 성능 향상을 달성했다. Gemma4 actor에서도 82.3 F1 대비 82.8 F1로 +0.5 F1 포인트 우위를 보였다. LoCoMo 벤치마크에서는 GRSE가 open-domain 카테고리를 제외한 모든 카테고리에서 MASkills보다 우수했으며, 특히 multi-hop 질문에서 Qwen3.8 actor 사용 시 +6.7 F1 및 +5.3 BLEU의 가장 큰 성능 향상을 기록했다. [Figure 2] 또한 Gemma4 actor 사용 시 multi-hop에서 +3.2 F1 및 +2.8 BLEU 개선을 보였다.

learned skill 분석에 따르면, GRSE는 MASkills 대비 더 적은 수의 정답을 손상시키면서(HotpotQA Qwen3.8에서 -0.6 vs -1.8) 더 나은 grounded retrieval을 통해 답변 품질을 향상시켰다. Robustness study에서는 GRSE가 의도적으로 삽입된 harmful skill들을 정확하게 식별하고 제거하여 clean library의 점수를 +6.3 F1 포인트 회복시킨 반면, MASkills는 harmful skill을 오인하여 오히려 시작점보다 낮은 성능을 보이는 결과를 보였다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 cooperative language-model team에서 agent의 고정된 매개변수와 natural-language skills 기반 행동에 대한 Behavioral Credit Assignment 문제를 효과적으로 다룬다. GRSE는 동일한 질문에 대한 여러 실행을 비교하고, Structured Diagnosis를 통해 개별 agent-skill 쌍에 팀 결과를 귀속시킴으로써, 목표 지향적이고 검증된 skill updates를 유도한다.

HotpotQA 및 LoCoMo 벤치마크에서 GRSE는 기존 SOTA인 MASkills를 능가하는 성능을 보였으며, 특히 multi-hop 질문과 같이 에이전트 간의 증거 전달이 중요한 복잡한 task에서 큰 이점을 입증했다. GRSE의 성능 향상은 단순히 거부된 답변을 줄이는 것을 넘어, 더 나은 retrieval 능력에 기반하고 있음이 밝혀졌다. 또한, GRSE의 정확한 credit assignment 메커니즘은 라이브러리에 의도적으로 삽입된 harmful skills를 효과적으로 식별하고 제거하여, 시스템의 robustness를 크게 향상시킨다는 것을 보여준다. 학습된 skill들이 HotpotQA와 LoCoMo multi-hop 질문 사이에 cross-task transfer될 수 있으며, GRSE만이 target task 훈련을 통해 추가적인 성능 향상을 얻는다는 점은 해당 skill들이 과적합되지 않고 일반화 가능한 특성을 가짐을 시사한다.

이러한 결과는 동일한 task의 실행을 비교하는 것이 어떤 에이전트와 그 행동이 변경되어야 하는지를 결정하는 실용적인 방법임을 제시하며, 이는 multi-agent LLM 시스템의 skill evolution 분야에 중요한 학술적 및 산업적 시사점을 제공한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.