[논문리뷰] WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution

링크: 논문 PDF로 바로 열기

메타데이터

저자: Liyan Tang, Cyrus Rashtchian, Chun-Sung Ferng, Andrew Tomkins, Da-Cheng Juan, Tu Vu

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Skills: AI 에이전트가 특정 도메인에서 복잡한 작업을 수행하기 위해 사용하는 재사용 가능한 절차적 지식과 워크플로우를 담은 모듈식 시스템.
• Wiki: Raw execution trace에서 추출한 패턴, 성공 전략, 실패 모드, 진화 기록 등을 저장하는 Persistent Knowledge Base.
• WikiSkill: 에이전트의 실행 경험을 체계적으로 수집하여 Persistent Knowledge로 통합하고, 이를 기반으로 에이전트의 기술을 점진적으로 진화시키는 프레임워크.
• Skill Evolution: 학습 태스크를 반복 실행하며 도출된 경험을 바탕으로 에이전트의 능력을 자동으로 개선하고 최적화하는 과정.
• Gating and Rollback: 생성된 기술(Skill)이 검증 태스크에서 성능을 향상시키는지 확인하고, 성능 저하 시 이전 상태로 복구하는 안정성 메커니즘.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 에이전트의 경험이 최적화 히스토리에 파편화되어 축적되는 문제를 해결하고자 한다. 기존 연구들은 기술을 반복적으로 개발하지만, 이를 뒷받침하는 지식의 조직화가 부족하여 학습한 내용을 시스템적으로 재사용하는 데 한계가 있다. 저자들은 이러한 파편화된 정보를 고정된 지식 베이스로 컴파일하여 장기적인 Skill Evolution을 지원하는 구조적 접근이 필요하다고 제안한다. 이를 통해 에이전트가 시간이 지남에 따라 더 정교하고 재사용 가능한 지식을 체계적으로 축적할 수 있도록 한다 [Figure 2].

Figure 2 — WikiSkill 전체 프레임워크 구조

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 에이전트의 작업 공간을 Raw Layer(실행 흔적), Wiki Layer(지식 기반), Skills Layer(절차적 기술)의 3단계로 구조화하여 Co-evolution을 유도하는 WikiSkill을 제안한다. 매 반복 단계에서 Inference Agent가 작업을 수행하고, Wiki Maintainer가 이를 분석하여 Wiki를 갱신하며, Skill Proposer가 갱신된 지식을 참조하여 기술 업데이트를 제안하는 순환 구조를 가진다 [Figure 2]. 실험 결과, WikiSkill은 5개의 벤치마크 및 5개의 모델(Qwen, Gemma, Gemini 등) 전반에서 최신 기술들을 상회하는 성능을 기록했다. 특히 Qwen-3.5-9B 모델에 WikiSkill을 적용했을 때 평균 47.4%의 정확도를 달성하여, 기술 없는 Qwen-3.6-27B의 39.4%를 능가하며 모델 스케일링의 한계를 보완하는 성과를 보였다 [Table 1]. 또한, 학습된 기술이 모델 간에 효과적으로 전이되어, 다른 모델이 진화시킨 기술이 스스로 진화시킨 기술보다 뛰어난 성능을 보이는 경우도 확인되었다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 경험을 Persistent Knowledge로 체계적으로 컴파일하는 것이 에이전트의 기술 진화에 필수적임을 입증했다. WikiSkill은 모델 스케일링과 상호 보완적인 관계를 가지며, 작은 모델도 고도화된 기술을 통해 더 큰 모델을 능가할 수 있음을 보여주었다. 이 프레임워크는 AI 에이전트가 경험을 통해 자율적으로 전문성을 축적하고 공유하는 능력을 향상시키는 데 기여할 것으로 기대된다. 향후 연구에서는 에이전트가 지식을 보다 더 유연하게 조직화하고 활용하는 메커니즘에 대한 탐구가 더욱 활발해질 것으로 보인다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.