[논문리뷰] Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Nicholas Edwards, Sebastian Schuster, et al.

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Underspecification : 사용자 명령이나 문제 정의가 모호하여 중요한 문맥 정보가 결여된 상태를 지칭하며, 본 논문에서는 소프트웨어 공학 작업에서 이러한 결함을 능동적으로 탐지하는 것이 목표임.
• Agent Scaffold : 에이전트의 동작 방식(에이전트 구성, 프롬프트 전략 등)을 규정하는 구조로, 본 논문에서는 코드 실행 에이전트와 의도 탐지 에이전트를 분리하는 다중 에이전트 구조를 사용함.
• Resolve Rate : 주어진 GitHub 이슈(소프트웨어 공학 작업)를 성공적으로 해결한 비율로, 에이전트의 성능을 측정하는 핵심 Metric.
• Uncertainty-Aware : 모델 스스로 자신의 지식 상태나 작업 문맥의 불확실성을 모니터링하여, 추가 정보가 필요한지 여부를 판단하는 능력을 지칭함.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 현대의 LLM 기반 코딩 에이전트들이 실제 소프트웨어 공학 환경의 모호한 요구사항(Underspecified instructions)을 마주했을 때, 이를 능동적으로 해결하지 못하고 맹목적으로 실행(Autonomous execution)하는 문제를 해결하고자 한다. 기존 연구들은 단순한 질문하기 기능에 그치거나 단일 회차의 명시적 확인만 지원할 뿐, 에이전트가 내부적 불확실성을 바탕으로 협업적이고 능동적으로 정보를 획득하는 메커니즘이 부족하다 [Figure 1]. 이러한 한계로 인해 사용자 의도와 실제 에이전트 실행 사이의 간극이 발생하며, 이는 복잡한 다단계 소프트웨어 공학 작업에서 성공률을 낮추는 주요 요인이 된다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 소프트웨어 공학 작업을 위한 Uncertainty-Aware Multi-Agent Scaffold 를 제안하며, 이는 코드 실행을 담당하는 Main Agent 와 underspecification을 탐지하는 Intent Agent 로 역할을 명확히 분리한다. Intent Agent 는 매 턴마다 상태 기록을 분석하여 명확하지 않은 의도나 결여된 문맥을 식별하고, 필요시 Main Agent 가 사용자에게 질문을 하도록 제어한다. 실험 결과, Claude Sonnet 4.5 를 백본으로 사용한 UA-Multi 시스템은 69.40%의 Resolve Rate 를 달성하였다. 이는 단일 에이전트 방식( UA-Single )의 61.20% 대비 유의미한 성능 향상이며 [Figure 2], 처음부터 질문을 하도록 강제된 베이스라인과 유사한 성능을 보이면서도, 실제로 필요한 경우에만 질문을 수행하는 능동적이고 효율적인 정보 획득을 달성하였다.

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 LLM 에이전트가 단독적인 코드 생성기를 넘어, 소프트웨어 개발 과정에서 사용자와 소통하며 모호함을 스스로 해소하는 능동적 협업자로 발전할 수 있음을 입증하였다. 특히 Intent Agent 를 통해 코드 실행과 의도 탐지를 분리하는 아키텍처가 불확실성을 관리하는 데 매우 효과적임을 보여주었다. 이러한 결과는 향후 실제 프로덕션 환경에서 모호한 요구사항을 가진 복잡한 소프트웨어 프로젝트를 자동화하는 데 있어 중요한 기술적 토대를 제공할 것으로 기대된다.

---

Part 2: 중요 Figure 정보

[
  {"figure_id": "Figure 1", "image_url": "https://arxiv.org/html/2603.26233v1/x1.png", "caption_kr": "불확실성 인지 다중 에이전트 구조"},
  {"figure_id": "Figure 2", "image_url": "https://arxiv.org/html/2603.26233v1/x2.png", "caption_kr": "모델별 작업 해결률 비교"}
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.