[논문리뷰] Interlock: From Local Correctness to Task Completion in Long-Horizon Agents

링크: 논문 PDF로 바로 열기

저자: Linji Hao, Yanji He, Zihan Wang, Hansi Yang, Jiayuan Zhang, Hongyan Hao, Qi Gu, Yan Feng, Han Wu, et al.

1. Key Terms & Definitions

• Long-Horizon Agents: 단편적인 증거, 부분적으로 완료된 상태, 자원 및 아티팩트 간의 종속성을 특징으로 하는 복잡한 환경에서 장기적인 태스크를 수행하는 Large Language Model (LLM) 기반 에이전트를 지칭합니다.
• Typed Completion Graph: 태스크 요구사항을 표현하는 핵심 데이터 구조로, Grounding, Coupling, Realization 세 가지 관계 유형으로 구성됩니다.
• Grounding: 환경 증거 또는 규칙이 에이전트의 결정(Decisions)을 뒷받침하는 방식을 연결하는 관계입니다.
• Coupling: 여러 결정 또는 효과(Effects)에 걸쳐 Joint Constraints를 부과하는 관계입니다.
• Realization: 특정 결정(Decision)이 야기해야 하는 모든 다운스트림 효과(예: 기록, 아티팩트, 상태 업데이트)를 연결하는 관계입니다.
• Rejection-Sampling Fine-Tuning (RFT): 백본 모델이 후보 실행(candidate executions)을 생성하고, 그중 "승인된" (completion-filtered) 궤적(trajectories)만을 Supervised Fine-Tuning (SFT)에 사용하는 훈련 방법론입니다.

2. Motivation & Problem Statement

본 논문은 Long-Horizon Agents가 복잡한 환경에서 태스크를 수행할 때, 개별 요구사항은 충족시키지만 환경 증거, 결과적 결정, 그리고 필요한 효과 간의 관계를 유지하는 데 실패하여 국부적으로는 정확하나 궁극적으로는 불완전한 결과(incomplete outcomes)를 초래하는 핵심 문제를 제기합니다. 예를 들어, 정확하게 항공편을 예약했더라도 관련 일정 및 예산 업데이트가 누락될 수 있습니다 [cite: 1, Figure 1]. 이러한 Completion Gap은 태스크 완료가 이러한 관계들에 대한 총체적인 이해와 이행에 달려 있기 때문에 발생하며, 기존 에이전트들은 이를 효과적으로 다루지 못했습니다. 저자들은 태스크 합성이 조건부 의무(conditional obligations)를 어떻게 보존하고, 그 이행을 전이 가능한 훈련 경험(transferable training experience)으로 전환할 수 있는지에 대한 해결책을 모색합니다.

3. Method & Key Results

저자들은 이러한 문제를 해결하기 위해 Interlock이라는 프레임워크를 제안하며, 각 태스크를 typed completion graph로 명시적으로 표현합니다. 이 그래프는 Grounding, Coupling, Realization 관계를 통해 Public Evidence, Consequential Decisions, Joint Constraints, Required Downstream Effects를 연결합니다 [cite: 1, Figure 2]. Interlock은 이 그래프를 재설정 가능한 Workspace, Public Request, 그리고 Evaluation Rubric으로 컴파일합니다. 프레임워크는 Source-Coverage Review와 Public-Input Review라는 이중 검토 프로세스를 포함하여, 원래 요구사항이 생성 과정에서 보존되는지, 그리고 평가 루브릭이 솔버에게 보이는 자료로 뒷받침되는지 확인합니다. 훈련을 위해 Completion-Filtered Self-Supervision 방식을 사용하며, agent-as-judge가 실행 아티팩트를 검사하고 검증 스크립트를 실행하여 모든 필수 요구사항을 충족하는 궤적만을 Rejection-Sampling Fine-Tuning (RFT)에 사용합니다.

실험 결과, Interlock-RFT를 통한 훈련은 Qwen3.6-27B와 Qwen3.6-35B-A3B 두 백본 모두에서 외부 벤치마크에 걸쳐 성능을 크게 향상시켰습니다. Qwen3.6-27B의 경우, Interlock은 AutomationBench 태스크 Pass Rate를 4.00 percentage points, JobBench Main 가중치 점수를 4.35 points, JobBench Easy 점수를 6.64 points, 그리고 Harvey LAB Criterion Pass Rate를 3.89 percentage points 각각 향상시켰습니다. Qwen3.6-35B-A3B에서도 유사한 성능 향상이 관찰되었습니다 (예: AutomationBench에서 4.50 percentage points 향상). 또한, Interlock을 통해 생성된 궤적들은 ClawGym과 같은 기존 Baseline 대비 평균적으로 84,293 recorded tokens, 27.63 assistant turns, 42.10 tool calls를 기록하여, 훨씬 더 길고 복잡한 실행을 유도함을 보여주었습니다 [cite: 1, Figure 4]. 이는 에이전트가 여러 상호작용에 걸쳐 증거, 결정 및 필요한 효과를 이행하는 풍부한 경험을 제공함을 의미합니다.

4. Conclusion & Impact

Interlock은 typed completion graphs를 중심으로 Long-Horizon Task Synthesis를 조직함으로써, 복잡한 태스크 완료 문제를 성공적으로 해결합니다. Grounding, Coupling, Realization 관계와 엄격한 Dual-View Review 프로세스, 그리고 Completion-Filtered RFT는 고품질의 전이 가능한 훈련 경험을 생성하는 데 기여합니다. AutomationBench, JobBench, Harvey LAB 등 다양한 벤치마크에서 나타난 상당한 성능 향상은, 이 합성된 경험이 에이전트가 복잡하고 현실적인 환경에서 완전하고 정확한 결과를 달성하는 데 매우 가치 있음을 입증합니다. 이 연구는 Robust Long-Horizon Agents 훈련을 위한 혁신적이고 확장 가능한 접근 방식을 제공하며, 태스크 완료에 대한 학술적 이해와 AI 시스템의 실제 적용 가능성 모두에 기여합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.