[논문리뷰] SkillSeek: Revisiting Agent Skill Retrieval at Marketplace Scale

링크: 논문 PDF로 바로 열기

메타데이터

저자: Guanqun Yang, Wenlong Zhang, Tian Shi, Ping Wang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Skills: LLM 에이전트가 복잡한 작업을 수행할 때 필요한 프로시저 지식을 담은 재사용 가능한 SKILL.md 단위.
• MCP (Model Context Protocol): 에이전트와 도구 간의 표준화된 인터페이스로, 본 논문에서는 SkillSeek를 에이전트가 호출할 수 있는 도구 서버로 노출하는 데 사용됨.
• Reranker: 1차 검색(Retrieval) 결과인 Top-k 후보군을 다시 평가하여 최적의 스킬을 상위에 배치하는 Cross-Encoder 모델.
• Tool-REX: 스킬의 파일 유형, 주요 작업 등을 구조화된 태그로 변환하여 검색 효율을 극대화하는 프로파일링 기법.
• Pass Rate: 89개의 작업으로 구성된 SkillsBench 벤치마크에서 에이전트가 pytest 검증을 통과한 비율을 의미하는 성능 지표.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 오픈소스 에이전트 스킬 풀이 23만 개 이상으로 확장됨에 따라, 적절한 스킬을 선택하는 문제가 성능의 핵심 병목이 되었음을 지적한다. 기존의 주류 방식인 LLM 매개 검색 루프(LLM-mediated retrieval loop)는 검색 시마다 LLM 토큰 비용을 발생시키며, 특히 단순한 작업에서도 불필요한 추론 비용을 초래한다. 저자들은 결정론적 검색 방식(Deterministic Retrieval)이 이러한 LLM 기반 방식과 대등한 성능을 내면서도 비용 효율적일 수 있다는 가설을 세우고 이를 검증하고자 한다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 BGE-base bi-encoder와 Cross-Encoder(예: bge-reranker-v2-m3)로 구성된 2단계 검색 프레임워크인 SkillSeek를 제안한다. 1단계에서는 광범위한 스킬을 빠르게 필터링하고, 2단계에서 Tool-REX 프로파일을 활용하여 정교하게 리랭킹한다. 89개의 SkillsBench 작업 환경에서 실험한 결과, SkillSeek는 기존의 LLM 기반 루프 방식과 대등한 Pass Rate를 기록하면서도, in-loop LLM 토큰 비용을 거의 0으로 유지한다 [Table 1]. 특히 34K 규모의 마켓플레이스 풀 환경에서 Qwen3-Reranker-0.6B를 사용했을 때, 기존 LLM 기반의 liu_refined 방식과 동일한 0.442의 성능을 보였다 [Table 1]. 또한, 검색 비용 측면에서 SkillSeek는 건당 $27.54의 비용으로, 기존 방식이 요구하는 $51.30 대비 압도적인 경제성을 확보하였다 [Table 6].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 에이전트 스킬 검색에서 결정론적 IR(Information Retrieval) 방식이 LLM 기반 루프와 대등한 성능을 낼 수 있음을 실증적으로 입증하였다. 이는 복잡한 에이전트 시스템을 설계할 때 모든 단계에서 LLM 추론을 사용하는 대신, 최적화된 Deterministic Retriever를 기본값으로 활용할 수 있다는 중요한 시사점을 제공한다. 본 연구 결과는 향후 대규모 스킬 마켓플레이스 환경에서 에이전트의 효율성과 비용 절감을 위한 표준 가이드라인으로 활용될 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.