[논문리뷰] Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will proceed to extract the information and format it as requested.

Authors: Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin, Jiahao Huang, Jingyuan Xu, Tianmiao Shi, Jin Shi, Nianxi Zhang, Yangmiao Zhang, Zhuolang Chan, Huiyan Hu, Chenchao Sheng, Yaqing Luo, Yue Chen, Huaxiu Yao, Meng Fang, Jun Wang. I will use "Haoyu Zhao, Sitian Tu, Yuxuan Huang, et al." as specified.

Keywords: I need to identify 5-8 academic keywords from the paper. Based on the abstract and introduction, good candidates are: Continual Learning, LLM Agents, Benchmarking, Experiential Learning, Long-Horizon Tasks, Human-AI Collaboration, Evaluation, Harnesses.

Key Terms & Definitions:

• Continual Learning (CL): LLM agents가 경험을 통해 지식을 습득, 정제, 적용하며 시간이 지남에 따라 성능을 향상시키고 유용한 사전 지식을 유지하는 능력.
• Harness: LLM agents의 모델 파라미터 외부에 보존되는 학습 상태로, 메모리, 스킬 및 기타 retained information을 포함하여 모델의 Context에 통합되고 Actions을 실행하며 Experience를 관리한다.
• Task Ladder: CLE 벤치마크 내에서 각 Task는 5개의 순차적인 Level로 구성되며, 각 Level은 이전 Level에서 축적된 지식과 경험을 기반으로 다음 Assignment를 unlock하는 Gate 역할을 한다.
• Diagnostic Feedback: Agents가 Initial Submission 실패 후 제공받는 Rubric 기반의 Feedback으로, 문제Investigation, Approach Revision 및 재Submission을 지원하는 Explicit Learning Signal이다.
• Recursive Self-Improvement (RSI): 시스템이 추가 개선 사항을 생성, 평가 또는 구현하는 방식을 개선하는 Retained Changes를 의미하며, 학습 프로세스 자체를 향상시키는 것을 목표로 한다.

Motivation & Problem Statement: The paper states: "Continual learning is the ability of LLM agents to improve over time by acquiring, refining, and applying knowledge from experience while retaining useful prior knowledge. It is essential for agents learning over long time horizons, yet current evaluations largely assess individual task performance rather than improvement through accumulated experience." Existing agent benchmarks typically evaluate individual task performance, such as GAIA and memory benchmarks like LoCoMo, failing to directly measure how performance improves through sustained experience accumulation and reuse. This limitation arises because these benchmarks are designed to score tasks independently, characterizing task-solving capabilities rather than the improvement gained from continued learning or the reuse of retained knowledge across tasks. The need for a new benchmark is to address this gap by providing a realistic environment for large-scale continual learning evaluation in human-AI cowork settings.

Method & Key Results: 본 논문은 LLM Agent의 Continual Learning 능력을 평가하기 위해 Continual Learning Exam (CLE) 벤치마크를 제안한다. CLE는 50명 이상의 Industry Experts가 개발한 120개의 Human-Authored Tasks로 구성되어 있으며, 각 Task는 5개의 Sequential Levels인 Task Ladder로 조직되어 총 600개의 Level을 제공한다. Agents는 각 Level을 Pass해야 다음 Level로 진행할 수 있으며, 이후 Level들은 이전 Assignment에서 축적된 Knowledge와 Experience를 기반으로 구축된다. 이 벤치마크는 Tools and Skills, Data Dependency, Strategy, User Context, Domain Knowledge의 다섯 가지 유형의 Transferable Knowledge를 중심으로 Task Ladder를 설계하여 Agents가 Realistic Human-AI Co-work 환경에서 Experience를 획득, 유지 및 재사용할 수 있도록 한다. CLE는 23,981개의 Real-World Input Files, 19개의 Stateful Mock Applications (1,024개 API 노출), 그리고 16,125개의 Human-Authored Evaluation Criteria를 갖춘 Evaluation Agent를 포함하는 Executable Environment를 제공한다.

실험에서는 4개의 Agent Harnesses와 11개의 Backbone Models을 사용하는 17가지 Agent Configurations을 평가했다. Trial 1은 Diagnostic Feedback 없이 Level당 1회의 Submission을 허용하며, Trial 2는 첫 번째 Submission 실패 시 Diagnostic Feedback을 제공하고 1회의 Revision 및 Resubmission을 허용한다. 결과적으로, Diagnostic Feedback과 Revision 기회를 제공했음에도 불구하고, 최고 성능을 보인 Claude Code with Opus 5는 전체 Level의 47.67%만을 완료했다. Trial 1 대비 Trial 2에서 Diagnostic Feedback과 Revision을 통한 Median Completion Gain은 5.3 Percentage Points (pp)를 기록했다. 그러나 전체 Task 중 5개 Level 모두를 완료하는 Full-Task Completion Rate는 Best System조차 23.3%에 불과하여, 기존 Frontier LLM들에게 Experiential Learning을 통한 Sustained Learning이 여전히 어려운 도전임을 시사한다. 예를 들어, Claude Code with Sonnet 5는 L4에서 +16.67 pp, L5에서 +12.50 pp의 Gain을 보였다.

Conclusion & Impact: 본 논문은 Realistic Human-AI Co-work 환경에서 LLM Agent의 Continual Learning을 평가하기 위한 벤치마크인 CLE를 성공적으로 도입했다. CLE는 5개의 Sequential Levels로 구성된 120개의 Human-Authored Tasks를 통해 Agents가 재사용 가능한 정보와 Artefacts를 통해 지식을 축적하고 적용하는 능력을 측정한다. 현재 Frontier LLM Agents는 Diagnostic Feedback과 Revision 기회에도 불구하고 전체 Level의 절반 미만을 완료하는 등 Continual Learning 능력에 있어 상당한 한계를 보였다. 이 연구는 기존 모델과 Agent Harnesses의 Continual Learning Capabilities를 발전시키고 평가하는 데 중요한 Framework를 제공하며, Agents가 연속적인 Assignments 전반에 걸쳐 Experience를 획득, 유지 및 재사용하여 성능을 향상시키는 방법론 개발을 촉진할 것으로 기대된다.

Figures to include:

• Figure 1: CLE at a Glance. (Overall summary)
• Figure 2: Laddered Task Progression in CLE. (Methodology explanation)
• Figure 4: Overview of CLE. (Benchmark design) - Figure 4 is very similar to Figure 1 (A) and Figure 2. Figure 1 is more comprehensive as it shows statistics. I will prioritize Figure 1 and Figure 2 for the method. Figure 5 shows an example task which is good for context. Maybe Figure 9 for results?
• Figure 9: Completion Rates and Feedback Gains. (Key results)

Let's check image_url for these. From the HTML content:

• Figure 1: <img src="2610.33956v1/Figure/CLE-Main.png" /> -> https://arxiv.org/html/2610.33956v1/Figure/CLE-Main.png
  • This caption actually belongs to Figure 4. The actual Figure 1 is described in text: "Figure 1: CLE at a Glance. (A) Illustration of continual learning... (B) Summary statistics of CLE. (C) Completion rates across 17 harness–model configurations... (D) The change in completion rate from Trial 1 to Trial 2..."
  • Let me re-check the image source for Figure 1. Oh, the Figure 1: CLE at a Glance. text is near the abstract, but the actual image 2610.33956v1/Figure/CLE-Main.png is explicitly for Figure 4: Overview of CLE..
  • It seems the paper HTML has some reordering/mismatch. Figure 1 (A) from the text corresponds to (θn+1,sn+1)=Un(θn,sn,en) equation. The visual representation for "CLE at a Glance" or the elements described for Figure 1 (A, B, C, D) are scattered. I will try to find the actual images if they exist as distinct figures.
  • Looking at the HTML structure, Figure 1: CLE at a Glance. is described in text near the abstract, but there is no <img> tag immediately following it with a src that corresponds to it. Instead, later, there's ![Refer to caption](2610.33956v1/Figure/CLE-Main.png) which is Figure 4.
  • This is tricky. The prompt asks to find the src attribute. If there's no src for Figure 1 as described, I cannot include it as an image.
  • Let me check if Figure 1 is implicitly combined with Figure 4, or if there's a separate image.
  • Ah, upon closer inspection, the text description for Figure 1: CLE at a Glance. actually describes a conceptual figure composed of elements A, B, C, D, which are then individually referenced throughout the paper. There isn't a single <img> tag for "Figure 1".
  • However, Figure 2 and Figure 3 have actual image tags.
  • Figure 2: Laddered Task Progression in CLE. <img src="2610.33956v1/Figure/Laddered-Task-Progression.png" /> -> https://arxiv.org/html/2610.33956v1/Figure/Laddered-Task-Progression.png
  • Figure 3: Continual Learning Capability Tiers. <img src="2610.33956v1/Figure/CLE-Capability-Hierarchy.png" /> -> https://arxiv.org/html/2610.33956v1/Figure/CLE-Capability-Hierarchy.png
  • Figure 4: Overview of CLE. <img src="2610.33956v1/Figure/CLE-Main.png" /> -> https://arxiv.org/html/2610.33956v1/Figure/CLE-Main.png
  • Figure 5: A Five-Level Task Example: Ibex RISC-V Core Maintenance and Verification. <img src="2610.33956v1/task-example-ibex.png" /> -> https://arxiv.org/html/2610.33956v1/task-example-ibex.png
  • Figure 9: Completion Rates and Feedback Gains. (This is mentioned in the text but its image url is not explicitly given in the same manner as the earlier figures with ![Refer to caption](...) syntax. I need to find its src.)
  • Okay, I found the image for Figure 9: 2610.33956v1/Figure/Completion-Rates-and-Feedback-Gains.png -> https://arxiv.org/html/2610.33956v1/Figure/Completion-Rates-and-Feedback-Gains.png
  • I will select Figure 2 (Laddered Task Progression), Figure 4 (Overview of CLE), and Figure 9 (Completion Rates and Feedback Gains). These cover methodology and key results well. Figure 1 seems to be a descriptive summary without a distinct image.

Let's finalize the figure selection for Part 2:

1. Figure 2: Laddered Task Progression in CLE (Methodology)
   • image_url: https://arxiv.org/html/2610.33956v1/Figure/Laddered-Task-Progression.png
   • caption_kr: "CLE의 계층적 Task 진행"
2. Figure 4: Overview of CLE (Benchmark Design)
   • image_url: https://arxiv.org/html/2610.33956v1/Figure/CLE-Main.png
   • caption_kr: "CLE 벤치마크 개요"
3. Figure 9: Completion Rates and Feedback Gains (Key Results)
   • image_url: https://arxiv.org/html/2610.33956v1/Figure/Completion-Rates-and-Feedback-Gains.png
   • caption_kr: "Completion Rate 및 Feedback 효과"

I will ensure these figures are referenced in Part 1. Figure 1 is referenced in the text, but since it doesn't have a distinct image src, I will just make sure to reference figures that do have images. The prompt says "Part 2에서 선별한 Figure/Table만 [Figure N] 또는 [Table N]으로 참조하세요." and "선별하지 않은 것은 번호로 언급하지 마세요." So, if I don't select Figure 1, I should not reference it with [Figure 1]. The text I wrote uses [Figure 1]A and [Figure 1]C in the motivation. I need to adjust this.

Looking again at Figure 1 in the HTML: "Figure 1: CLE at a Glance. (A) Illustration of continual learning: an agent accumulates experience ene_{n} through interaction and uses the update operator UnU_{n} to modify its model parameters θn\theta_{n}, persistent harness state sns_{n}, or both. (B) Summary statistics of CLE. (C) Completion rates across 17 harness–model configurations, measured as the percentage of all 600 levels passed. Trial 1 allows one submission per level without diagnostic feedback; Trial 2 allows one revision and resubmission following diagnostic feedback on an initial failure. (D) The change in completion rate from Trial 1 to Trial 2, in percentage points (pp)." This description details components of CLE but is not tied to a single <img> tag for "Figure 1". The components A, B, C, D are described as parts of "Figure 1" but no image. This is a common arXiv rendering issue where the HTML doesn't explicitly link. Since the instruction is clear: "이미지 <img> 태그가 있는 Figure만 선별하세요.", I will not select Figure 1 for Part 2 and thus will not reference it in Part 1 with a number.

I have already extracted the relevant points for the summary. Now I will assemble Part 1 and Part 2. I will double-check the constraints and direct answer rules, and citation format.저자: Haoyu Zhao, Sitian Tu, Yuxuan Huang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Continual Learning (CL): LLM Agent가 경험을 통해 지식을 습득, 정제, 적용하며 시간이 지남에 따라 성능을 향상시키고 유용한 사전 지식을 유지하는 능력이다.
• Harness: LLM Agent의 모델 파라미터 외부에 보존되는 학습 상태로, 메모리, 스킬 및 기타 retained information을 포함하여 모델의 Context에 통합되고 Actions을 실행하며 Experience를 관리한다.
• Task Ladder: CLE 벤치마크 내에서 각 Task는 5개의 순차적인 Level로 구성되며, 각 Level은 이전 Level에서 축적된 지식과 경험을 기반으로 다음 Assignment를 unlock하는 Gate 역할을 한다.
• Diagnostic Feedback: Agents가 Initial Submission 실패 후 제공받는 Rubric 기반의 Feedback으로, 문제 Investigation, Approach Revision 및 재Submission을 지원하는 Explicit Learning Signal이다.
• Recursive Self-Improvement (RSI): 시스템이 추가 개선 사항을 생성, 평가 또는 구현하는 방식을 개선하는 Retained Changes를 의미하며, 학습 프로세스 자체를 향상시키는 것을 목표로 한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM Agent의 Continual Learning 능력을 평가하기 위한 표준 벤치마크의 부재를 해결하고자 한다. Continual Learning은 LLM Agent가 장기적인 Task Horizon에 걸쳐 Knowledge를 획득, 정제, 적용하며 유용한 이전 지식을 보존하는 필수적인 능력임에도 불구하고, 기존의 평가 방식은 주로 개별 Task Performance만을 측정한다. 예를 들어, GAIA와 같은 General Capability Benchmarks나 LoCoMo와 같은 Memory Benchmarks는 Agent가 accumulated experience를 통해 성능을 얼마나 향상시키는지를 직접적으로 측정하지 못한다. 이러한 기존 벤치마크들은 Task를 독립적으로 제시하고 평가하여, 지속적인 학습을 통한 성능 향상보다는 단순히 Task Solving Performance만을 특징화하는 한계점을 가진다. 따라서, 본 연구는 Human-AI Co-work 환경에서 Experience-Driven Improvement를 측정할 수 있는 새로운 대규모 벤치마크의 필요성을 강조한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 LLM Agent의 Continual Learning 능력을 Benchmarking하기 위해 Continual Learning Exam (CLE)이라는 대규모 벤치마크를 제안한다. CLE는 50명 이상의 Industry Experts가 개발한 120개의 Human-Authored Tasks로 구성되며, 각 Task는 5개의 Sequential Levels인 Task Ladder로 조직되어 총 600개의 Level을 제공한다. Agents는 각 Level을 Pass해야 다음 Level로 진행할 수 있으며, 이후 Level들은 이전 Assignment에서 축적된 Knowledge와 Experience를 기반으로 구축된다 [Figure 2, 4]. 벤치마크의 Task Ladder는 Tools and Skills, Data Dependency, Strategy, User Context, Domain Knowledge의 다섯 가지 형태의 Transferable Knowledge를 중심으로 설계되어 Agents가 Realistic Human-AI Co-work 환경에서 Experience를 획득, 유지 및 재사용할 수 있도록 한다. CLE는 23,981개의 Real-World Input Files, 19개의 Stateful Mock Applications (1,024개 API 노출), 그리고 16,125개의 Human-Authored Evaluation Criteria를 갖춘 Evaluation Agent를 포함하는 Executable Environment를 제공한다 [Figure 4].

Figure 4 — CLE 벤치마크 개요

실험에서는 4개의 Agent Harnesses와 11개의 Backbone Models을 사용하는 17가지 Agent Configurations을 평가했다. Trial 1은 Diagnostic Feedback 없이 Level당 1회의 Submission을 허용했으며, Trial 2는 첫 번째 Submission 실패 시 Diagnostic Feedback을 제공하고 1회의 Revision 및 Resubmission을 허용했다. 주요 실험 결과는 다음과 같다. 최고 성능을 보인 Claude Code with Opus 5는 Trial 1에서 전체 Level의 42.17%를, Trial 2에서 47.67%만을 완료했다 [Figure 9]. 이는 Diagnostic Feedback과 Revision 기회를 제공했음에도 불구하고 기존 Frontier LLM Agent들이 Long-Horizon Task에서 Sustained Learning을 달성하는 데 큰 어려움을 겪고 있음을 시사한다. Trial 1 대비 Trial 2에서 Diagnostic Feedback과 Revision을 통한 Median Completion Gain은 5.3 percentage points (pp)를 기록했으며, 전체 Configuration 중 16개가 Trial 2에서 더 높은 Overall Completion을 달성했다 [Figure 9]. 특히, Claude Code with Sonnet 5는 L4에서 +16.67 pp, L5에서 +12.50 pp의 Completion Rate 상승을 보여, Feedback이 후반 Level에서의 성능 개선에 기여할 수 있음을 입증했다. 하지만 전체 Task 중 5개 Level 모두를 완료하는 Full-Task Completion Rate는 Best System조차 23.3%에 불과하여, CLE 벤치마크가 현존하는 LLM Agent들에게 여전히 상당한 도전 과제임을 명확히 보여준다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Realistic Human-AI Co-work 환경에서 LLM Agent의 Continual Learning 능력을 평가하기 위한 벤치마크인 Continual Learning Exam (CLE)을 성공적으로 도입했다. CLE는 120개의 Human-Authored Tasks를 각각 5개의 Sequential Levels로 구성된 Task Ladder 형태로 제공하며, Agents는 재사용 가능한 정보와 Artefacts를 통해 지식을 축적하고 적용하는 능력을 측정한다. Stateful Environments와 Human-Defined Rubrics는 각 Ladder 전반에 걸쳐 Task Execution과 Verification을 지원한다. 현재 Frontier LLM Agent들은 Diagnostic Feedback과 Revision 기회가 주어졌음에도 불구하고 전체 Level의 절반 미만을 완료하는 등 Continual Learning Capabilities에 있어 상당한 한계를 보였다. 이 연구는 기존 모델과 Agent Harnesses의 Continual Learning Capabilities를 발전시키고 평가하는 데 중요한 Framework를 제공하며, Agents가 연속적인 Assignments 전반에 걸쳐 Experience를 획득, 유지 및 재사용하여 성능을 향상시키는 방법론 개발을 촉진할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.