[논문리뷰] Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills

링크: 논문 PDF로 바로 열기

The browsing was successful. Now I will extract the information needed for the summary.

Authors: Letian Zhu, Han Li, Yifan Yao, Xinping Lei, Xinyu Che, Jiahao Wang, Dianyi Wang, Yucheng Fu, Jiakai Wang, Zhiqi Bai, Wenbo Su, Jiaheng Liu. (Note: The abstract mentions "Equal contribution: Letian Zhu, Han Li, and Yifan Yao. Corresponding author: Jiaheng Liu"). I will list the first three then "et al."

Keywords: From the abstract and introduction, I can identify: Agent Skills, LLM agents, Socratic Skill Learning (SSL), Transferable Skills, SkillTransferBench, Issue-Guided Review, Expert Teaching, Student Practice. I'll pick 5-8 academic-sounding ones.

Key Terms & Definitions:

• Agent Skills: Reusable task knowledge/instructions for LLM agents.
• Socratic Skill Learning (SSL): Interleaves expert teaching with student practice for skill acquisition.
• SkillTransferBench: A benchmark for evaluating skill transferability beyond the learning task, comprising 35 task families and 408 executable cases.
• Fixed-Window SSL: An SSL variant that reviews student progress at regular tool-call intervals.
• Issue-Guided SSL: An SSL variant that tracks unresolved learning issues to selectively focus expert review, reducing supervision cost.
• Transfer Utility (Avg@3): A primary metric for evaluating the success rate of acquired skills on held-out test cases, averaged across 3 independent acquisition runs and families.
• Full-pass rate: The percentage of cases where every private check passes.

Motivation & Problem Statement:

• LLM agents benefit from reusable "Skills" for specialized tasks.
• Acquiring truly transferable Skills is challenging; successful task attempts may not test all conditions for reuse.
• Existing methods (e.g., distilling execution trajectories, post-hoc feedback) have limitations: they might not address untested assumptions or guide the learner effectively during investigation.
• The core problem is how to effectively guide a learner agent to acquire transferable skills while it is still gathering evidence, rather than after failures have occurred.

Method & Key Results:

• Socratic Skill Learning (SSL) is introduced, featuring an Educator (expert) guiding a Student (LLM agent) who acts as the sole environment operator and Skill author. This interleaves teaching and practice, allowing the Student to question, test, and adapt advice.
• Two instantiations: Fixed-Window SSL (reviews at fixed tool-call intervals) and Issue-Guided SSL (tracks unresolved learning issues to focus review).
• SkillTransferBench is developed, a new benchmark with 35 task families and 408 executable cases, designed to test skill reuse on held-out family members after acquisition on an anchor task.
• Key Quantitative Results (Qwen Main Cohort: 22 families, 155 cases):
  • Fixed-Window SSL achieved 0.801 utility (Avg@3), outperforming No Skill (0.723), adapted Trace2Skill (0.761), and adapted SKILL-KD (0.751) [cite: 1, Table 1].
  • Issue-Guided SSL achieved 0.805 utility, the highest among all methods, also outperforming others [cite: 1, Table 1].
  • Issue-Guided SSL reduced Educator tokens by 61.7% and total acquisition tokens by 16.9% compared to Fixed-Window SSL, while maintaining higher utility [cite: 1, Table 2, Figure 5]. This shows a 2.75 times transfer gain per Educator token [cite: 1, Figure 5].
  • On shared families across three model pairs (Qwen, DeepSeek, Kimi), both interleaved SSL protocols consistently outperformed direct Expert Authoring and Post-hoc Teaching [cite: 1, Table 2].

Conclusion & Impact:

• SSL, by interleaving expert teaching and student practice, significantly improves the transferability of agent skills.
• The research demonstrates that guiding the learning process during investigation, rather than post-hoc, leads to more robust skill acquisition.
• Issue-Guided SSL effectively allocates expert attention by focusing on unresolved learning questions, leading to substantial cost reductions in expert supervision while maintaining or improving performance.
• This study offers a novel framework for developing reusable knowledge in LLM agents, enhancing their adaptability and efficiency in complex task environments.

Figures to select:

• Figure 1: Overview of the study (A, B, C panels). This is a good overall architecture figure.
• Figure 3: Socratic Skill Learning. Explains the core method (A) and the two SSL variants (B).
• Figure 5: Transfer utility and teaching efficiency across review schedules. This shows the key quantitative results about utility and cost savings for Issue-Guided SSL.

Let's get the image URLs. From the HTML:

• Figure 1: 2610.17860v1/study_workflow.png -> https://arxiv.org/html/2610.17860v1/study_workflow.png
• Figure 3: 2610.17860v1/socratic_skill_learning.png (not 2610.17860v1/ssl_method.png as initially assumed from the text, double-checking the section 4 reference Figure 3 ‣ 4 Socratic Skill Learning ‣ Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills) - the image near section 4 is socratic_skill_learning.png and matches the description. So, https://arxiv.org/html/2610.17860v1/socratic_skill_learning.png
• Figure 5: 2610.17860v1/transfer_and_cost.png (from text reference Figure 5 ‣ 5.4 RQ4: Selecting and focusing review around unresolved issues) -> https://arxiv.org/html/2610.17860v1/transfer_and_cost.png

Looks good. I will now assemble the output.저자: Letian Zhu, Han Li, Yifan Yao, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 다루는 핵심 용어 및 정의는 다음과 같습니다.

• Agent Skills: Large Language Model (LLM) agents가 특정 태스크를 수행할 때 재사용 가능한 (reusable) instructions 및 executable resources를 의미합니다.
• Socratic Skill Learning (SSL): Agent Skills를 학습하기 위해 Educator (expert)의 teaching과 Student (LLM agent)의 practice를 interleaving하는 방법론입니다. Student가 environment operator이자 Skill author 역할을 하며, Educator의 guidance를 testing하고 adapt합니다.
• SkillTransferBench: SSL의 transferable Skills를 평가하기 위해 구축된 새로운 벤치마크로, 35개의 task families와 408개의 executable cases로 구성됩니다. 이 벤치마크는 학습 task (anchor)를 넘어 held-out family members에 대한 skill reuse를 테스트합니다.
• Fixed-Window SSL: Student의 tool calls 일정 횟수마다 Educator가 review를 수행하는 SSL의 한 instantiation입니다.
• Issue-Guided SSL: unresolved learning issues를 tracking하여 Educator review의 focus를 선정하고 expert supervision cost를 줄이는 SSL의 또 다른 instantiation입니다.
• Transfer Utility (Avg@3): 획득된 Skill의 transferability를 측정하는 주요 metric으로, held-out test cases에 대한 성공률을 0-100 scale로 나타낸 family-macro 평균입니다.
• Full-pass rate: 주어진 task의 모든 private checks를 성공적으로 통과한 경우의 비율을 나타내는 metric입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

LLM agents는 reusable Skills를 통해 specialized expertise가 필요한 태스크에서 성능이 향상될 수 있습니다. 그러나 기존의 Skill 학습 방법론들은 transferable Skills를 습득하는 데 한계가 있습니다. 성공적인 태스크 수행은 종종 Skill의 reuse를 위한 모든 조건이나 가정을 완전히 테스트하지 못하며, 이는 새로운 환경에서 예측 불가능한 실패로 이어질 수 있습니다.

기존 연구들은 execution trajectory를 Skill로 distill하거나, 실패 후 expert feedback을 제공하여 refinement를 유도하는 방식을 사용해왔습니다. 하지만 이러한 post-hoc feedback 방식은 learner가 이미 가정을 테스트하고 실패를 겪은 후에 제공되므로, 초기 단계의 hypothesis testing이나 evidence gathering 과정에서 발생할 수 있는 비효율성을 효과적으로 해결하지 못합니다. 따라서 본 연구는 learner agent가 evidence gathering 중일 때 외부 expertise가 Skill acquisition을 어떻게 효과적으로 guide할 수 있는지에 대한 질문에 답하고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 transferable agent skills 개발을 위해 Socratic Skill Learning (SSL) 방법론을 제안합니다 [Figure 3]. SSL은 Educator (expert)가 Student (LLM agent)의 practice를 interleaving하여 guidance를 제공하는 방식입니다. Student는 environment operator이자 Skill author로서 Educator의 advice를 questioning, testing, and adapting하며, 오직 Student만이 Skill package를 작성합니다 [cite: 1, Figure 3]. 본 연구는 두 가지 SSL instantiation인 Fixed-Window SSL과 Issue-Guided SSL을 개발했습니다. Fixed-Window SSL은 고정된 tool-call 간격으로 review를 수행하는 반면, Issue-Guided SSL은 unresolved learning issues를 tracking하여 review의 필요성을 선택하고 관련 evidence에 집중합니다 [cite: 1, Figure 3].

이러한 방법론을 평가하기 위해, 저자들은 35개의 task families와 408개의 executable cases로 구성된 새로운 벤치마크인 SkillTransferBench를 구축했습니다 [cite: 1, Figure 1]. 이 벤치마크는 acquisition scope를 정의하는 public family specification과 fresh solver sessions에서 frozen Skills의 held-out transfer를 테스트하는 방식으로 설계되었습니다.

주요 실험 결과는 Qwen 모델을 사용하여 22-family, 155-case main cohort에서 수행되었으며 다음과 같습니다:

• Fixed-Window SSL은 0.801의 Transfer Utility (Avg@3)를 달성하여, No Skill (0.723), adapted Trace2Skill (0.761), adapted SKILL-KD (0.751) 등 기존 baseline 및 다른 Skill learning 방법론들을 능가했습니다 [cite: 1, Table 1]. 이는 Skill이 anchor task 및 acquisition session을 넘어 재사용되는 능력을 효과적으로 향상시켰음을 보여줍니다.
• Issue-Guided SSL은 0.805의 Transfer Utility (Avg@3)로 모든 방법론 중 가장 높은 성능을 기록했습니다 [cite: 1, Table 1].
• 특히, Issue-Guided SSL은 Fixed-Window SSL 대비 Educator tokens를 61.7% 절감하고 총 acquisition tokens를 16.9% 절감하면서도 더 높은 utility를 유지했습니다 [cite: 1, Table 2, Figure 5]. 이는 2.75배 더 높은 Educator token 당 transfer gain 효율성을 의미합니다 [cite: 1, Figure 5].
• Fixed-Window SSL과 Issue-Guided SSL 모두 Expert Authoring 및 Post-hoc Teaching보다 일관되게 우수한 transfer 성능을 보였습니다 [cite: 1, Table 2]. Post-hoc Teaching은 Student가 Skill authoring을 마친 후에 feedback을 제공하는 방식이지만, interleaved guidance를 제공하는 SSL에 비해 모든 model pairs (Qwen, DeepSeek, Kimi)에서 낮은 성능을 보였습니다. 이는 practice 중의 guidance가 더 효과적임을 시사합니다.
• Process analysis는 Educator의 lessons가 Student의 file writing 및 Skill changes 확률을 크게 높임을 보여주었습니다 [cite: 1, Figure 4]. 또한, Fixed-Window SSL에서 review cost가 라운드가 진행됨에 따라 5.3배 증가하는 반면, Issue-Guided SSL은 이러한 cost 문제를 효율적으로 해결했습니다 [cite: 1, Figure 4, Figure 5].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 expert teaching과 student practice를 interleaving하는 Socratic Skill Learning (SSL)이 LLM agent의 transferable Skills 습득에 중대한 개선을 가져옴을 입증했습니다. 특히, 학습 과정 중 ongoing investigation 단계에서 guidance를 제공하는 것이 post-hoc 방식보다 훨씬 효과적임을 명확히 보여주었습니다.

제안된 Issue-Guided SSL은 unresolved learning questions를 기반으로 expert attention을 효율적으로 할당함으로써, transfer utility를 유지하거나 향상시키면서도 expert supervision에 드는 cost를 대폭 절감하는 데 성공했습니다. 이는 LLM agents가 복잡한 태스크 환경에서 보다 adaptable하고 efficient하게 지식을 습득하고 재사용할 수 있는 새로운 패러다임을 제시합니다. 본 연구는 학계에서는 agent skill learning 및 human-AI collaboration 연구에 중요한 통찰을 제공하며, 산업계에서는 적은 자원으로도 고성능의 agent 시스템을 구축하고 유지할 수 있는 실용적인 방안을 제시할 것으로 기대됩니다.

Figure 1 — 연구 개요

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.