[논문리뷰] Harness-Model Collaboration for Long-Horizon Continual Learning

링크: 논문 PDF로 바로 열기

저자: Zhen Bi, Zhizhi Peng, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Long-Horizon Agents: 여러 단계에 걸쳐 복잡한 목표를 달성해야 하며, 과거의 경험을 활용하여 미래 작업을 개선하는 능력이 필요한 AI 에이전트.
• Continual Learning: 에이전트가 새로운 작업을 학습하면서 이전에 학습한 작업의 성능을 유지하는 능력. Catastrophic Forgetting을 완화하는 것이 핵심 목표이다.
• Harness-Level Memory: 비매개변수적(non-parametric) 방식으로 경험을 외부에 저장하는 메모리로, 새로운 procedural knowledge를 즉시 재사용할 수 있게 한다.
• Experience Card: 하나의 expert trajectory에서 추출된 task context, initial conditions, strategy-level solution outline을 포함하는 compact한 표현이다.
• Experience-Conditioned Adaptation: 모델이 harness에서 검색된 strategy-level experience에 조건화되어 parameter를 업데이트하는 방식.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Long-horizon agents는 장기적인 상호작용을 통해 재사용 가능한 procedural knowledge를 지속적으로 습득하지만, 기존 시스템들은 model adaptation 또는 external memory 중 한 가지 방식에만 의존하여 지속적인 학습과 빠른 재사용 사이에서 trade-off를 겪는다. 특히 Web agents와 같이 반복적인 다단계 워크플로우를 수행하는 경우, 과거 상호작용에서 얻은 지식을 미래 작업에 직접적으로 활용하지 못하는 한계가 두드러진다. Model-level adaptation은 persistent behavioral competence를 제공하지만, 잦은 업데이트는 비용이 많이 들고 sequential distribution shift 상황에서 기존 capabilities를 간섭할 수 있다. 반면, harness-level adaptation은 새로운 지식을 즉시 활용하게 하지만, 모델 자체가 검색된 경험을 해석하고 실행하는 능력을 향상시키지는 못한다. 이러한 문제들은 기존 단일 메커니즘만으로는 long-horizon agents의 continual learning을 완전히 해결할 수 없음을 시사하며 [Figure 1], 두 가지 형태의 adaptation이 서로 보완적이라는 관점에서 새로운 접근 방식이 필요하다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 long-horizon agents의 continual learning을 위한 HaMo (Harness-Model collaborative framework)를 제안한다. HaMo는 fast non-parametric experience accumulation과 slow parametric adaptation을 결합하여, 두 가지 timescales에서 보완적으로 작동하는 적응 메커니즘을 조율한다. Harness-level에서는 각 trajectory가 task context, initial conditions, strategy-level solution outline을 포함하는 compact한 experience card로 증류되어 persistent non-parametric memory에 저장된다. 이는 새로 습득된 procedural knowledge를 미래 작업에 즉시 활용할 수 있게 한다. Model-level에서는 experience-conditioned continual learning objective를 통해 단일 parameter-efficient adapter가 지속적으로 업데이트된다. 이 과정에서 모델은 harness로부터 검색된 strategy-level experience를 해석하고, 변화하는 환경에 grounding하며, 적절한 action으로 실행하는 능력을 학습한다. 또한, retrieval-coverage-based selection mechanism을 도입하여 중복을 줄이고 compact하고 complementary한 trajectories를 parameter 업데이트에 사용한다.

실험 결과, HaMo는 within-domain 및 cross-domain continual learning 설정 모두에서 harness-only 및 model-only adaptation baseline들을 능가하는 성능을 보였다. Within-domain continual learning (ScienceWorld)에서 HaMo는 Qwen3-8B 모델로 평균 52.22점을, Qwen3-14B 모델로 평균 53.09점을 달성하여, Base+Harness 대비 각각 13.88점, 12.44점 높은 성능을 보였다 [Figure 3]. Cross-domain continual learning (ScienceWorld, ALFWorld, WebShop 순서)에서 HaMo는 최종 단계에서 ScienceWorld 52.43, ALFWorld 66.79, WebShop 59.64점을 기록하며 모든 baseline 대비 우수한 retention과 adaptation 능력을 입증했다 [Figure 4]. 특히, Model only 방식이 ALFWorld 훈련 후 ScienceWorld 점수가 29.41점 하락한 반면, HaMo는 동일한 첫 단계 점수를 유지하며 27.86점 높은 ScienceWorld 점수를 기록하여 retention 측면에서 큰 강점을 보였다 [Figure 5].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 long-horizon agents를 위한 Harness-Model collaborative framework, HaMo를 제안하여 continual learning의 핵심 과제인 adaptation과 retention 사이의 균형 문제를 효과적으로 해결하였다. HaMo는 외부의 persistent strategy-level memory와 내부의 experience-conditioned parameter adaptation을 결합함으로써, 에이전트가 새로운 procedural knowledge를 즉시 재사용하면서도 이전에 습득한 지식을 보존하며 변화하는 환경에 적응하는 능력을 점진적으로 향상시킨다. ScienceWorld, ALFWorld, WebShop 벤치마크를 통한 실험은 HaMo가 harness-only 또는 model-only 접근 방식보다 강력한 robustness를 제공하며, 특히 cross-domain 시나리오에서 Catastrophic Forgetting을 완화하는 데 크게 기여함을 보여준다. 이는 external experience accumulation과 internal model adaptation을 조율하는 것이 long-horizon agents가 지속적으로 학습하고 이전에 학습한 capabilities를 보존하는 데 있어 유망한 방향임을 시사한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.