[논문리뷰] Looped Language Models Improve Compositional Tool Calling

2026년 8월 19일수정: 2026년 8월 19일

링크: 논문 PDF로 바로 열기

저자: Andrei Cristian Popescu, Haitz Sáez de Ocáriz Borde, Pietro Liò

1. Key Terms & Definitions (핵심 용어 및 정의)

Looped Transformers: 고정된 파라미터 수 내에서 공유된 Transformer 블록을 반복적으로 적용하여 추론 시간의 연산량(Test-time computation)을 증가시키는 아키텍처입니다.
Compositional Tool Calling: 모델이 단일 API 호출을 넘어, 여러 도구를 조합하거나 도구 간의 종속성(Dependency)을 유지하며 다단계의 구조적 워크플로우를 생성하는 능력을 의미합니다.
Recurrent Depth: Looped Transformer에서 공유 블록을 통과하는 반복 횟수를 의미하며, 이를 통해 잠재 표현(Latent representation)을 단계적으로 정교화합니다.
Adaptive Inference: 고정된 반복 횟수 대신, 모델이 토큰별 난이도에 따라 필요한 만큼의 반복 횟수를 동적으로 결정하여 연산 효율성을 최적화하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Looped Language Models가 에이전트 환경의 Compositional Tool Calling에서 가질 수 있는 잠재적인 성능 향상을 규명하고자 합니다. 기존의 LLM 기반 에이전트 시스템은 복잡한 API 호출 시 다단계 계획 수립과 종속성 보존에 어려움을 겪는 경우가 많습니다. 특히 기존 연구들은 외부 플래닝 모듈이나 검색 기법에 의존하는 경향이 있어, 모델 내부의 잠재적 연산(Latent iterative computation)이 구조적 의사결정에 미치는 영향은 충분히 탐구되지 않았습니다. 본 연구는 반복적인 연산을 통해 Latent Representation을 정교화함으로써, 이러한 복합적 Tool-use 작업에서의 정확도와 계획 수립 능력을 개선하는 것을 목표로 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Ouro 모델을 비롯한 다양한 Looped 아키텍처와 이를 Retrofitted한 Llama-3.2-1B, OLMo-2-1B를 활용하여 BFCL v3, NESTful, API-Bank 벤치마크에서 실험을 수행했습니다. 모델은 Hermes 함수 호출 데이터셋으로 지도 미세 조정(SFT)되었으며, 고정된 반복 횟수(Fixed-depth)와 적응형(Adaptive) 추론 프로토콜을 모두 평가했습니다 [Figure 1]. 실험 결과, 반복적 연산은 특히 여러 API 간의 의존성이 존재하는 Parallel-Multiple 및 NESTful의 계층적 작업에서 두드러진 성능 향상을 보였습니다. 예를 들어, Fixed-depth 추론 시 반복 깊이가 증가함에 따라 BFCL의 복합 작업 정확도가 점진적으로 상승하는 경향이 관찰되었습니다 [Figure 2]. 또한, Adaptive inference를 적용할 경우, 고정 깊이 모델과 유사하거나 더 우수한 성능을 유지하면서도 평균적인 루프 연산 횟수를 줄여 더 효율적인 Compute-Performance Trade-off를 달성했습니다 [Figure 4]. Qualitative analysis 결과, 반복적 연산이 단순히 출력을 다듬는 수준을 넘어, 도구 선택과 변수 참조 오류 등 구조적인 종속성 문제를 해결하는 데 결정적인 기여를 함을 확인했습니다 [Figure 5].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Looped Language Models가 복잡한 Compositional Tool Calling 워크플로우를 해결하는 데 있어 강력한 아키텍처임을 입증했습니다. 연구 결과는 반복적 잠재 연산이 단순한 연산량 증가를 넘어, 구조적 계획 수립과 종속성 보존을 가능하게 하는 핵심 메커니즘으로 작용할 수 있음을 시사합니다. 특히 Adaptive inference를 통한 연산 효율 최적화 가능성은 향후 실시간 에이전트 시스템 구축에 중요한 시사점을 제공합니다. 이러한 접근 방식은 정교한 계획과 신뢰성 있는 실행이 필요한 차세대 에이전트 설계의 토대가 될 것으로 기대됩니다.