[논문리뷰] Chain-of-Experience for Continual LLM Improvement

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haoqin Tu, Yunhao Fang, Yizhong Wang, Cihang Xie, Shen Yan

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CoE (Chain-of-Experience): 모델이 추론(Inference) 단계에서 환경과 반복적으로 상호작용하며 피드백을 수집하고, 이를 축적된 경험(Experiential Traces)으로 활용하여 스스로의 성능을 지속적으로 개선하는 프레임워크입니다.
• Feedback Spectrum: 모델의 성능 향상을 유도하는 피드백의 유형을 의미하며, 본 논문에서는 None, Model Feedback, Executor Feedback, Correctness Feedback의 네 가지 범주로 분류하여 그 효과를 실험했습니다.
• Iterative Problem-solving: 단일 추론(Zero-shot)으로 문제를 해결하는 대신, 여러 번의 반복 과정을 통해 모델이 앞선 시도의 성공/실패 경험을 피드백과 함께 다음 추론의 컨텍스트로 활용하는 구조를 지칭합니다.
• Improving Capability ($\Delta_{\mathcal{M}}$): 모델의 초기 성능(Base performance) 대비 CoE를 통한 최대 성능 향상폭을 정량화한 지표로, 모델이 경험으로부터 학습하는 능력을 평가합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 LLM들이 학습 후 고정된 상태로 배포되어 매 추론을 고립된 이벤트로 처리함으로써 추론 단계에서의 지속적 개선 능력을 상실하고 있다는 점을 문제로 지적합니다. 기존의 연구들은 Chain-of-Thought (CoT)나 Tree-of-Thought (ToT)와 같은 전략을 통해 추론 깊이를 확장하려 했으나, 모델의 경험이 단일 답변 생성 후 폐기되는 일회성 피드백에 머물러 있다는 한계가 있습니다. 따라서 저자들은 모델이 반복적인 환경 상호작용을 통해 경험을 축적하고 이를 통해 추론 중에 스스로 진화할 수 있는 체계적인 방법론인 CoE를 제안합니다 [Figure 2].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들이 제안하는 CoE는 모델의 전체적인 문제 해결 이력을 경험(Experience)으로 간주하고, 이를 반복적인 의사결정 프로세스로 정형화하여 모델이 이전 시도의 결과와 피드백을 기반으로 다음 액션을 결정하게 합니다 [Figure 2]. 주요 실험 결과에 따르면, CoE를 적용한 모델들은 ICL, Dynamic CheatSheet (DC), ACE와 같은 기존의 Baseline 대비 평균 7~9%의 성능 향상을 보였으며, Correctness 및 Executor 피드백 활용 시 평균 5.6%의 전반적인 성능 개선과 함께 API Cost를 19% 절감하는 효율성을 입증했습니다 [Figure 1]. 특히, LiveBench (Code)와 LiveCodeBench (V6)와 같은 코딩 과제에서 Executor Feedback은 모델의 정확도를 기존 대비 평균 8.6% 향상시켰습니다 [Figure 3]. 또한, 모델의 초기 능력(Base ability)과 CoE를 통한 학습 이득(Learning gain) 사이에 +0.5의 Pearson Correlation이 관찰되어, 모델의 추론 역량이 높을수록 경험을 통한 개선 효과가 더 크다는 점을 정량적으로 증명했습니다 [Figure 5].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 LLM이 추론 단계에서 반복적인 피드백을 활용해 스스로를 개선하는 CoE 프레임워크가 성능과 비용 효율성 측면에서 우월한 대안임을 확인했습니다. 이 연구는 모델의 성능을 단순히 매개변수 확장을 통해서만 높이는 것이 아니라, 추론 단계의 컴퓨팅 자원을 효과적으로 재할당하여 경험을 학습하는 것이 중요함을 시사합니다. 향후 학계 및 산업계에서는 이러한 피드백 기반 추론 전략을 통해 더 적은 비용으로 고성능 에이전트를 구축하는 연구가 활발해질 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.