[논문리뷰] SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

메타데이터

저자: Zhengxi Lu, Zhiyuan Yao, Jinyang Wu, Chengcheng Han, Qi Gu, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Skill Internalization : 추론 시점에 외부의 스킬 프롬프트나 가이드에 의존하지 않고, 학습 과정을 통해 해당 스킬을 모델의 파라미터 내부에 직접 내재화하여 자율적으로 행동하게 하는 학습 패러다임.
• ICRL (In-Context Reinforcement Learning) : 훈련 중에 스킬 가이드를 인컨텍스트(in-context)로 제공하여 모델의 학습 효율을 높이고, 훈련이 진행됨에 따라 점진적으로 이를 제거하여 최종적으로는 스킬 가이드 없이 모델이 자율적인 행동을 생성하도록 유도하는 프레임워크.
• Dynamic Curriculum : 훈련 과정에서 각 스킬의 유용성(helpfulness)을 평가하여, 모델이 여전히 도움을 받는 스킬만 선별적으로 유지하고 점진적으로 스킬 예산(budget)을 줄여나감으로써 스킬 내재화를 최적화하는 스케줄링 메커니즘.
• Context Rendering : 텍스트 형태의 상호작용 기록과 스킬 가이드를 압축된 시각적 정보로 변환하여 입력 토큰 비용을 최소화하는 기법.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM 기반 에이전트의 inference-time 스킬 증강 방식이 가지는 고질적인 한계를 극복하고, 스킬을 모델 파라미터로 완전히 내재화하는 것을 목표로 한다 [Figure 1]. 기존의 검색 기반 스킬 증강 방식은 검색 노이즈에 의한 문맥 오염, 스킬 주입으로 인한 토큰 오버헤드, 그리고 모델이 스스로 스킬을 배우는 것이 아니라 단순히 프롬프트를 따라 할 뿐이라는 근본적인 의존성 문제를 안고 있다. 이러한 방식은 에이전트가 진정한 지능을 갖추기보다 외부 가이드에 묶여 있게 만든다. 따라서 저자들은 inference 시점에 retrieval 없이도 자율적으로 복잡한 다단계 작업을 수행할 수 있도록, 학습 단계에서 스킬을 모델의 파라미터로 전이시키는 명시적인 훈련 목적 함수와 커리큘럼을 설계하였다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Skill0 프레임워크를 제안하며, 이는 ICRL과 Dynamic Curriculum 을 결합하여 스킬을 단계적으로 내재화한다 [Figure 2]. 학습 초기에는 풍부한 스킬 문맥을 제공하여 에이전트의 초기 탐색을 돕고, 학습이 진행됨에 따라 스킬 예산을 선형적으로 감소시켜 에이전트가 스스로 최적의 전략을 내재화하도록 유도한다. 이때 각 스킬의 유용성(Helpfulness)은 현재 모델의 정책이 해당 스킬 유무에 따라 얼마나 성능 향상을 보이는지에 대한 정량적 지표($\Delta_k$)를 통해 매번 평가 및 갱신된다 [Figure 6]. 정량적 실험 결과, Skill0 는 ALFWorld 및 Search-QA 벤치마크에서 기존의 강력한 RL 베이스라인인 AgentOCR 대비 각각 +9.7% 및 +6.6% 의 높은 성공률 향상을 기록하였다. 또한, 추론 시점의 토큰 비용을 0.5k 토큰 이하로 유지하면서도 SkillRL 과 같은 기존 skill-augmented 방식들과 대등하거나 더 우수한 성능을 보여주었다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 에이전트가 inference-time 스킬 의존성에서 벗어나 완벽한 zero-shot 자율성을 달성할 수 있도록 하는 Skill0 프레임워크를 정립하였다. 스킬 내재화를 명시적 훈련 목표로 삼는 이 접근 방식은 LLM 에이전트가 단순히 도구를 호출하는 단계를 넘어, 실질적인 procedural 지식을 학습하는 패러다임 전환을 제시한다. 이 연구는 산업계 및 학계의 에이전트 설계 방식을 검색-프롬프트 방식에서 내재화-자율성 방식으로 변화시키는 중요한 이정표가 될 것이다.

---

Part 2: 중요 Figure 정보

[
  {"figure_id": "Figure 1", "image_url": "https://arxiv.org/html/2604.02268v1/x1.png", "caption_kr": "기존 스킬 증강과 Skill0 비교"},
  {"figure_id": "Figure 2", "image_url": "https://arxiv.org/html/2604.02268v1/x2.png", "caption_kr": "Skill0의 전체 아키텍처"},
  {"figure_id": "Figure 6", "image_url": "https://arxiv.org/html/2604.02268v1/x6.png", "caption_kr": "학습 중 스킬 유용성 변화"}
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.