[논문리뷰] Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict

링크: 논문 PDF로 바로 열기

메타데이터

저자: Kaiser Sun, Bernal Jiménez Gutiérrez, Hongjun Liu, Jingyu Zhang, Jie Gao, Mark Dredze, Daniel Khashabi

1. Key Terms & Definitions (핵심 용어 및 정의)

• Epistemic Humility (EH): 자신의 지식이 불완전할 수 있음을 인정하고, 작업 수행 중 불확실성을 인식, 행동 및 전달하는 능력.
• ISE (Identify, Solve, Escalate): EH를 측정하기 위한 세 가지 행동 지표로, 갈등(Conflict)을 식별하고, 도구 사용을 통해 해결하며, 잔여 불확실성을 최종 응답에 명시하는 과정을 의미.
• Knowledge Conflict: 모델의 파라메트릭 지식(parametric knowledge)과 검색된 증거가 서로 충돌하거나, 여러 컨텍스트 소스 간의 정보가 불일치하는 상황.
• Trajectory-level Evaluation: 최종 결과물뿐만 아니라 에이전트가 목표를 달성하기 위해 거치는 전체적인 추론 과정과 단계별 상호작용을 분석하는 평가 방식.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 Agentic Systems 평가가 지나치게 최종 결과의 정확도에만 치중되어 있어, 에이전트가 작업 중 마주하는 불확실성을 어떻게 처리하는지에 대한 통찰이 부족하다는 문제의식을 제기한다. 기존 연구들은 높은 태스크 정확도만을 강조하며, 에이전트가 갈등 상황에서 정보를 수정하거나 불확실성을 알리는 Epistemic Humility를 발휘하는지 간과하고 있다 [Figure 1]. 저자들은 에이전트가 내부적으로 갈등을 감지하더라도, 최종 답변에서는 이를 무시하고 잘못된 결론을 확신 있게 도출하는 경우가 빈번하다는 점을 지적하며, 에이전트의 전 과정(trajectory)을 평가할 새로운 방법론의 필요성을 강조한다.

Figure 1 — 지식 갈등 상황에서의 EH 행동

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 에이전트의 Epistemic Humility를 평가하기 위해, 파라메트릭 지식과 외부 증거가 충돌하는 Controlled Conflict 및 Naturally Occurring Conflict 환경을 설계하였다 [Figure 2]. 제안된 ISE 지표를 통해 에이전트가 갈등을 식별하고 해결을 시도한 뒤, 최종적으로 불확실성을 사용자에게 보고하는지 정량적으로 측정하였다. 실험 결과, 태스크 정확도가 높은 에이전트가 오히려 갈등 상황에서 불확실성을 더 적게 알리는 경향이 있음을 발견하였다. 특히, 에이전트들은 갈등 정보를 초기 단계(전체 과정의 10% 이내)에서 이미 식별하지만, 후속 조치 없이 초기 결론을 고수하는 Simplicity Bias를 보였다 [Figure 4]. 마지막으로, 시스템 프롬프트 조정을 통해 에이전트의 Escalate 비율을 높일 수 있었으나, 이는 종종 전체적인 태스크 정확도의 하락을 동반하는 트레이드오프 관계를 나타냈다 [Figure 5].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 태스크 성공 여부만을 측정하는 기존의 단편적 평가에서 벗어나, 에이전트의 불확실성 인식 및 전달 능력을 평가하는 체계적인 프레임워크를 정립하였다. 연구 결과는 높은 정확도를 가진 모델이라 할지라도 갈등 상황에서 반드시 신뢰할 수 있는 것은 아님을 시사하며, 에이전트의 지능은 모델의 성능뿐만 아니라 환경과의 상호작용 방식에도 의존함을 보여준다. 본 논문에서 공개한 전체 trajectory 데이터와 ISE 평가 지표는 향후 더욱 안전하고 겸손하며 정직한 Agentic Systems를 설계하는 데 중요한 가이드라인이 될 것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.