[논문리뷰] ASA: Training-Free Representation Engineering for Tool-Calling Agents

링크: 논문 PDF로 바로 열기

저자: Youjin Wang, Run Zhou, Rong Fu, Shuaishuai Cao, Hongwei Zeng, Jiaxian Lu, Sicheng Fan, Jiaqiao Zhao, Liangming Pan

핵심 연구 목표

본 논문은 진화하는 인터페이스, 스키마 변화 및 엄격한 파서 조건 하에서 LLM 에이전트의 도구 호출 기능이 취약한 문제를 해결하고자 합니다. 기존 프롬프트 엔지니어링이나 PEFT 방식의 한계를 극복하고, "Lazy Agent failure mode" 로 정의되는 내부 표현과 실제 행동 간의 간극을 메우는 견고하고 훈련 없는(training-free) 도메인 적응 방법론을 제안하는 것이 목표입니다.

핵심 방법론

연구진은 Activation Steering Adapter (ASA) 라는 훈련-없는, 추론 시간 제어기 를 제안합니다. 이 방법은 LLM의 중간 계층 활성화에 단일 샷 개입(single-shot intervention) 을 수행하며, 라우터(router) 조건부 조향 벡터 혼합 과 프로브(probe) 가이드 서명 게이트(signed gate) 를 사용합니다. 라우터는 도메인을 식별하고, 프로브는 도구 호출의 필요성을 예측하며, 게이트는 이 예측을 바탕으로 특정 중간 계층(예: Qwen2.5-1.5B의 Layer 18 )에 조향 벡터를 삽입하여 도구 호출 의도를 강화하거나 불필요한 트리거를 억제합니다.

주요 결과

MTU-Bench 벤치마크와 Qwen2.5-1.5B 모델 에 대한 실험에서, ASA 는 엄격한 도구 사용 F1 점수를 0.18에서 0.50으로 향상 시켰으며, 오류 오인율(FPR)은 0.15에서 0.05로 감소 시켰습니다. 이러한 성능 향상은 단지 약 20KB의 휴대 가능한 자산 만 사용하고 모델 가중치 업데이트 없이 달성되었습니다. 또한, Logit-Lens 분석 을 통해 조향 방향이 실제로 functioncall 토큰의 생성 확률을 최대 5.47% 까지 증가시키는 인과적 효과가 있음을 확인했습니다.

AI 실무자를 위한 시사점

ASA 는 LLM 기반 에이전트의 도메인 적응성 을 크게 향상시키면서도 훈련 및 유지보수 비용 을 대폭 절감할 수 있는 실용적인 해결책을 제시합니다. 특히 API 및 도구 스키마가 자주 변경되는 동적 환경 에서 경량의 추론 시간 제어 가 가능하여, AI 제품의 개발 및 운영 효율성 을 극대화하는 데 매우 유용합니다. 이는 기존 프롬프트 엔지니어링의 취약성 과 PEFT의 지속적인 재훈련 부담 을 해소하며, 엄격한 파싱 제약 조건 하에서도 도구 호출의 신뢰성 을 높일 수 있는 새로운 접근법을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.