[논문리뷰] Continual Learning in Transition

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhiyan Hou, Dan Zhang, Tao Feng, Liyuan Wang, Wei Li, Xiangzhao Hao, Hongyan An, Junfeng Fang, Haokai Ma, Zhaohui Xu, Haiyun Guo, Jinqiao Wang, Tat-Seng Chua, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Continual Learning (CL): 모델이 정적이지 않은 환경에서 지속적으로 지식을 업데이트하고, 과거의 지식을 유지하며 새로운 과제를 학습하는 능력을 의미합니다.
• Harness Layer: 모델의 내부 파라미터 외부에서 지식과 기능을 저장 및 관리하는 시스템 구성 요소로, Memory, Skills, Protocols 등을 포함합니다.
• Catastrophic Forgetting: 새로운 데이터를 학습할 때 이전에 습득했던 기존 지식이나 성능이 급격히 저하되는 현상입니다.
• Off-Policy vs. On-Policy Update: Off-Policy는 현재 정책과 무관한 데이터로 학습하는 방식이며, On-Policy는 모델이 현재 수행하는 정책을 통해 생성된 데이터를 기반으로 최적화를 진행하는 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 전통적인 Continual Learning이 가진 파라미터 중심의 제한된 시각에서 벗어나, LLM 및 Agentic AI 시대에 걸맞은 새로운 시스템 수준의 적응형 패러다임으로의 전환을 목표로 합니다 [Figure 1]. 기존 연구들은 주로 정적인 모델 파라미터의 업데이트와 Gradient-based 학습에만 집중해 왔습니다. 그러나 현대의 에이전트 시스템은 Inference-time 적응, 외부 Harness를 통한 지식 축적 등 훨씬 복잡한 진화 과정을 겪습니다. 이러한 변화를 설명하기에는 기존의 좁은 분류 체계가 한계에 다다랐기에, 본 연구에서는 When, Where, How라는 세 가지 축을 바탕으로 Continual Learning을 재정의하고자 합니다 [Figure 1].

Figure 1 — 3차원 CL 관점 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Continual Learning을 세 가지 차원의 변화로 정의하는 새로운 분류 체계를 제안합니다 [Figure 2]. 첫째, When은 모델의 전체 라이프사이클(Pre-training, Post-training, Inference-time) 전반에 걸친 지식 진화를 다룹니다. 둘째, Where는 능력이 저장되는 장소가 모델 파라미터 내부에서 Memory, Skills, Protocols를 포함하는 외부 Harness Layer로 확장됨을 설명합니다 [Figure 5]. 셋째, How는 단순한 Off-Policy 그래디언트 업데이트에서 On-Policy 학습 및 Beyond-Gradient 방식(모델 병합, 제로차 최적화 등)으로의 진화를 포괄합니다 [Figure 6]. 이러한 프레임워크를 통해 연구진은 기존 방법론들을 체계적으로 재배치하고, 정량적으로는 On-Policy 학습이 KL Divergence를 최소화함으로써 Off-Policy 방식 대비 Catastrophic Forgetting을 효과적으로 완화한다는 점을 입증했습니다 [Figure 3]. 또한, Harness를 활용한 지식 축적은 파라미터 변경 없이도 에이전트의 지속적인 성장을 가능케 하여, Long-horizon 과제 해결 능력을 비약적으로 향상시킴을 보였습니다.

Figure 2 — 3축 분류 체계와 방법론

Figure 5 — Where 차원의 확장

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Continual Learning이 단순한 파라미터 조정 문제를 넘어, 에이전트 시스템 전체의 적응형 진화로 나아가고 있음을 명확히 했습니다. 이 연구가 제시한 When-Where-How 3축 분류 체계는 학계의 파편화된 연구들을 통합하는 표준적인 프레임워크를 제공합니다. 향후 AGI를 향한 길목에서 모델 파라미터와 외부 Harness 간의 조화로운 지식 관리 전략이 핵심 경쟁력이 될 것으로 전망됩니다. 이 연구는 단순히 지식을 기억하는 모델을 넘어, 스스로 진화하는 지능형 에이전트 설계의 토대를 마련했다는 점에서 큰 의의를 가집니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.