[논문리뷰] When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yanjie Zhang, Bowen Cao, Zixin Chen, Yushi Sun

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Intent Drift: 사용자의 이전 의도가 최종 결과나 툴 호출에 부적절하게 잔류하여 발생하는 LLM 에이전트의 실패 모드입니다.
• IntentFlux: 의도 변경이 포함된 다중 턴 대화를 생성하고 검증 가능한 태스크를 통해 에이전트의 성능을 측정하는 벤치마크입니다.
• StateForge: 대화 기록으로부터 활성 요구사항을 명시적으로 추출하고, 의도가 변경됨에 따라 superseded된 항목과 종속된 결론을 제거하는 State Folding 기반의 시스템입니다.
• State Folding: 에이전트의 최종 생성 이전에 대화 이력을 현재의 활성 상태(active state)로 요약 및 정제하여, 최신 의도만이 모델에 전달되도록 하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

LLM 에이전트는 사용자가 의도를 점진적으로 수정, 철회, 추가하는 다중 턴 환경에서 작동하지만, 기존 모델들은 superseded된 의도를 구분하지 못하고 잘못된 결과물을 생성하는 Intent Drift 문제에 취약합니다 [Figure 1]. 기존 연구들은 단순히 대화 이력을 압축(compression)하는 데 초점을 맞추거나, 전반적인 성능 저하만을 측정할 뿐 특정 실패 모드를 분리하여 분석하지 못한다는 한계가 있습니다. 본 논문은 이러한 인위적인 다중 턴 실패 모드를 정량적으로 측정하고, 에이전트가 현재의 활성 의도에만 집중하도록 만드는 명시적인 상태 유지 기법이 필요함을 역설합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 IntentFlux를 통해 다양한 태스크에서 의도 변경을 정교하게 제어하여 에이전트의 성능을 평가하고, 이를 해결하기 위해 StateForge를 제안합니다 [Figure 1]. StateForge는 트래커(tracker)가 대화 흐름을 추적하여 superseded된 의도와 그에 따른 종속적 결론을 삭제하고, 최신 상태만을 생성기(generator)에 공급함으로써 에이전트의 추론 정확도를 향상합니다 [Figure 2]. 실험 결과, General-Test 데이터셋에서 StateForge를 적용했을 때, 일반 다중 턴 에이전트의 mean score는 0.367에서 0.467로 유의미하게 상승했습니다 [Table 2]. 또한, 모듈형 트래커를 9B 파라미터 모델로 구현해도 대형 모델 수준의 성능을 확보할 수 있음을 입증했으며, Thinking Distillation을 통해 35B 에이전트 자체에 이러한 상태 유지 능력을 내재화할 수 있음을 확인했습니다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Intent Drift가 LLM 에이전트의 다중 턴 상호작용에서 발생하는 핵심적인 성능 저하 요인임을 입증하고, 명시적인 상태 유지(explicit state maintenance)가 이를 부분적으로 해결할 수 있음을 보여줍니다. 이 연구는 향후 에이전트 설계 시 단순히 긴 맥락을 처리하는 것뿐만 아니라, 의도의 변화에 따라 과거 정보를 능동적으로 폐기하고 최신 상태를 복원하는 State Folding 능력이 필수적임을 시사합니다. 학계와 산업계는 본 연구가 제공하는 벤치마크와 모듈형/내재형 상태 유지 기법을 통해 더 신뢰할 수 있고 지능적인 LLM 에이전트를 개발하는 발판을 마련할 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.