[논문리뷰] Agent-Reflex: Teaching Language Agents to Act Reflectively

링크: 논문 PDF로 바로 열기

I have successfully browsed the paper. Now I need to extract the information according to the specified format.

Part 1: Summary Body

• Metadata: Authors are listed at the beginning. Keywords need to be identified from the abstract, introduction, and conclusion.
• 1. Key Terms & Definitions: I will look for crucial concepts like Agent-Reflex, RSD, ReSFT, ORPO, reflection meta-skills, noisy environments, long-horizon tool use.
• 2. Motivation & Problem Statement: The introduction clearly states the problem: agents lack proactive reflection under noisy external feedback and user-guided correction in real-world deployments, unlike idealized training environments.
• 3. Method & Key Results: The paper proposes Agent-Reflex with three stages: RSD, ReSFT, and ORPO. I need to explain each briefly and then report the key quantitative results from Table 1 and Table 2.
  • RSD: Environment Reflection Skill Discovery. Injects tool-feedback perturbations, samples LLM pool, mines success-failure pairs, summarizes reflection meta-skills.
  • ReSFT: Reflective Supervised Fine-Tuning. Converts skills into supervision for self-reflection, skill recovery, and user-centric correction. Includes SR, KR, UR.
  • ORPO: On-Policy Reflective Policy Optimization. Combines Noisy Agent RL with reflection-guided on-policy distillation.
  • Results: Focus on "Overall" scores from Table 1 and Table 2, especially comparison with Qwen3-8B and other baselines. Mention specific improvements (e.g., long-horizon tool use, robustness to noise).
• 4. Conclusion & Impact: Summarize the findings and discuss the implications for agent training and robustness.

Part 2: Important Figure Information (JSON)

I need to identify up to 3 important figures.

• Figure 1: "From idealized interaction to reflective recovery." - Shows the problem.
• Figure 2: "RSD and ReSFT." - Summarizes Stage 1 and 2 of the methodology. This is likely the overall architecture/pipeline.
• Figure 3: "ORPO." - Explains Stage 3 of the methodology.
• Figure 4: "Comparison of agent policy optimization algorithms." - Shows key results for ORPO.
• Figure 5: "Per-axis Stability-Gated Success on AgentNoiseBench’s native taxonomy, normalized by the three-model mean on each axis (10 = that average)." - Detailed results.

Figure 2 and Figure 3 seem most crucial for explaining the method. Figure 1 highlights the motivation, and Figure 4 shows key comparative results. I will prioritize Figure 2 (overall pipeline), Figure 3 (ORPO mechanism), and Figure 4 (key performance comparison).

Let's start drafting.

Authors: Guanting Dong, Xinyu Yang, Jiajie Jin, Yuyang Hu, Xiaoshuai Song, Yifei Chen, Xiaoxi Li, Jiejun Tan, Yutao Zhu, Tat-Seng Chua, Ji-Rong Wen, Zhicheng Dou

Keywords: From abstract: Language Agents, Reflection Learning, Noisy Environments, Tool Use, Supervised Fine-Tuning, Reinforcement Learning, Proactive Reflection, Meta-Skills. I'll pick 5-8.

Language Agents, Proactive Reflection, Meta-Skills, Noisy Environments, Tool Use, Supervised Fine-Tuning, On-Policy Optimization

Let's refine the keyword list. "Language Agents" is good. "Proactive Reflection" is central. "Meta-Skills" defines their approach. "Noisy Environments" is a key problem. "Tool Use" is the application domain. "Supervised Fine-Tuning" and "On-Policy Optimization" are key methodological components. This seems like a good set.

Now for the summary body. I need to make sure to correctly extract image_url for the JSON part. Figure 1: 2610.17953v1/fig1_motivation_compact.png -> https://arxiv.org/html/2610.17953v1/fig1_motivation_compact.png Figure 2: 2610.17953v1/figure2_final.png -> https://arxiv.org/html/2610.17953v1/figure2_final.png Figure 3: 2610.17953v1/Figure3_new.png -> https://arxiv.org/html/2610.17953v1/Figure3_new.png Figure 4: 2610.17953v1/Figure4_new.png -> https://arxiv.org/html/2610.17953v1/Figure4_new.png (I decided to check the actual image name from the html, the prompt said to use xN.png, but the actual image name is different).

I'll select Figures 2, 3, and 4 as they best illustrate the methodology and core results.

Now, I will construct the markdown summary following all constraints.저자: Guanting Dong, Xinyu Yang, Jiajie Jin, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent-Reflex: 에이전트의 proactive reflection을 장려하기 위해 고안된 일반적인 훈련 프레임워크입니다.
• Reflection Meta-Skill: 에이전트의 잘못된 패턴을 교정 행동에 매핑하여 동일한 환경 내의 여러 태스크에서 재사용할 수 있는 환경 복구 규칙입니다.
• Environment Reflection Skill Discovery (RSD): 현실적인 툴 실패가 주입된 환경을 구축하고, 다양한 LLM 에이전트 풀에서 성공/실패 궤적 쌍을 샘플링하여 재사용 가능한 reflection meta-skills를 마이닝하는 Agent-Reflex의 첫 번째 단계입니다.
• Reflective Supervised Fine-Tuning (ReSFT): 마이닝된 skill library를 기반으로 Self-Reflection (SR), Skill Recovery (KR), User-Centric Reflection (UR)이라는 세 가지 보완적인 샘플링 전략을 통해 명시적인 리플렉션 스킬을 에이전트 정책에 내재화하는 단계입니다.
• On-Policy Reflective Policy Optimization (ORPO): noisy interaction 하의 agentic reinforcement learning과 reflection-guided on-policy distillation (OPD)을 결합하여 에이전트의 proactive reflection을 추가로 유도하는 최적화 단계입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 대규모 언어 모델 (LLM) 기반 에이전트가 현실 세계에서 noisy feedback과 사용자 개입에 대한 proactive reflection 능력이 부족하다는 핵심 문제를 제기합니다. 기존 에이전트 훈련 패러다임은 stable, well-controlled environments에서의 이상적인 상호작용을 가정하지만, 실제 배포 환경에서는 tool service가 timeout이나 service error와 같은 noisy feedback을 반환할 수 있습니다. 또한, 사용자는 에이전트가 의도에서 벗어날 때 직접 개입하여 추론이나 행동을 수정하지만, 기존의 사용자 시뮬레이터는 이러한 corrective instructions와 다양한 상호작용 스타일을 충분히 커버하지 못합니다. 이러한 한계점들은 에이전트가 실행 실패로부터 proactive reflective capability를 효과적으로 학습하고 failure recovery를 수행하는 데 필요한 적절한 감독이 부족함을 보여주며, 바로 이 격차를 해소하기 위해 Agent-Reflex 프레임워크가 제안되었습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 에이전트의 proactive reflection을 장려하기 위한 3단계 훈련 프레임워크인 Agent-Reflex를 제안합니다. 첫 번째 단계인 Environment Reflection Skill Discovery (RSD)는 실제 툴 에러에서 파생된 grounded tool-feedback perturbations를 environment scaling에 주입하여 noisy environment를 구축합니다. 이 환경에서 capability-diverse LLM pool을 통해 궤적을 샘플링하고, 매칭된 성공-실패 쌍을 마이닝하여 557개 환경에서 총 1,170개의 재사용 가능한 reflection meta-skills를 요약합니다 [Figure 2]. 두 번째 단계인 Reflective Supervised Fine-Tuning (ReSFT)은 이 skill library를 활용하여 Self-Reflection (SR), Skill Recovery (KR), User-Centric Reflection (UR) 세 가지 auxiliary and verifiable reflection sampling strategies를 설계하고, 이를 통해 생성된 데이터를 바탕으로 정책을 supervised fine-tuning하여 명시적인 스킬을 에이전트 정책에 내재화합니다 [Figure 2]. 마지막 단계인 On-Policy Reflective Policy Optimization (ORPO)는 noisy interaction 하의 agentic reinforcement learning과 reflection-guided on-policy distillation (OPD)을 결합하여 proactive reflection을 더욱 강화합니다 [Figure 3]. ORPO는 mixed rollout group에서 group-normalized advantage를 공유하고, 환경의 skill card 유무에 따라 동일한 토큰을 재채점하여 detached, confidence-weighted OPD signal을 생성합니다 [Figure 3].

Figure 2 — Agent-Reflex 프레임워크 개요

Figure 3 — ORPO 방법론 설명

Qwen3-8B를 기반으로 구축된 Agent-Reflex는 다섯 가지 long-horizon tool-use benchmarks에서 58.6%의 overall score를 달성하여 강력한 environment-scaling 및 reflection baselines를 능가했습니다. 특히, VitaBench에서 Reflexion-8B의 6.8% 대비 17.5%를 달성하며 inference-time guidance를 넘어선 reflection internalizing의 효과를 보여주었습니다. 또한 AgentNoiseBench에서 29.1%의 overall score를 기록하여 noisy interaction 환경에서의 robustness를 입증했습니다 [Table 2]. ORPO는 BFCL V4, τ²-Bench, 그리고 실제 interaction noise 벤치마크에서 GRPO, DAPO, REINFORCE++, SEED, Noisy Agent RL 대비 일관된 우위를 보였으며, 이는 reflection meta-skills가 rollout만으로 추정된 경험보다 더 잘 전이됨을 시사합니다 [Figure 4].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 에이전트의 proactive reflective thinking을 장려하는 Agent-Reflex 훈련 프레임워크를 성공적으로 제시합니다. RSD를 통해 grounded tool-feedback perturbations 하에서 재사용 가능한 reflection meta-skills를 마이닝하고, ReSFT로 self-reflection, skill recovery, user-centric correction을 위한 보완적인 감독을 제공하며, ORPO를 통해 noisy interaction에서의 agentic reinforcement learning과 reflection-guided on-policy distillation을 결합하여 proactive reflection을 더욱 강화했습니다. 이 연구는 long-horizon tool use 및 tool/user noise에 대한 robustness를 향상시키고 안정적인 훈련 역학을 유지함으로써, scalable agent training의 가능성을 보여줍니다. 학계와 산업계에서는 real-world deployment에서 에이전트의 신뢰성과 효율성을 크게 향상시킬 수 있는 중요한 기여로 평가될 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.