[논문리뷰] Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?

링크: 논문 PDF로 바로 열기

메타데이터

저자: Minghan Wang, Boyuan Wang, Jinhang Zuo, Yuxin Tao, Fang kong

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Thinking Outside the Box: 유용한 외부 가이드는 수용하되, 신뢰할 수 없거나 오해의 소지가 있는 가이드는 거부하고 독자적인 최적 전략을 선택하는 모델의 능력을 지칭합니다.
• Box^2^-Bench: 모델과 작업을 고정한 상태에서 Workflow의 신뢰성(Good, Bad, Partial, Mixed)을 다양하게 변화시켜 모델의 가이드 의존도를 평가하는 벤치마크 프레임워크입니다.
• Workflow: 에이전트가 작업을 수행할 때 따르는 외부적 절차나 계획을 의미하며, 모델의 실행 경로를 구조화하는 역할을 합니다.
• Counterfactual SFT: 잘못된(Bad) 가이드가 제공되는 환경에서 정답 경로를 따르도록 학습시켜, 오도하는 가이드에 대한 강건성(Robustness)을 높이는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM 기반 에이전트가 외부 Workflow에 의존할 때 발생하는 불필요한 제약 문제를 해결하고자 합니다. 기존 연구들은 에이전트의 작업 성공률(Task performance)에 집중하였으나, 제공된 가이드가 오도하거나 신뢰할 수 없을 때 모델이 이를 스스로 판단하여 거부하거나 수정하는 능력을 평가하지 못했습니다 [Figure 1]. 저자들은 강력한 성능을 가진 Frontier model일수록 오히려 잘못된 가이드에 취약해지는 경향이 있음을 확인했으며, 단순한 작업 성공률만으로는 모델의 진정한 신뢰성(Reliability)을 측정할 수 없다고 지적합니다. 따라서 모델이 상황에 따라 가이드 사용 여부를 전략적으로 결정하는 'Thinking outside the box' 능력이 필수적임을 강조합니다 [Table 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 모델이 가이드 신뢰성을 판단할 수 있도록 학습시키기 위해 Counterfactual SFT와 Outcome-based Reinforcement Learning (RL)을 결합한 2단계 학습 전략을 제안합니다 [Figure 3]. 먼저, 잘못된 Workflow 상황에서도 성공적인 결과를 도출하도록 Counterfactual SFT를 통해 모델의 Robustness를 강화합니다. 이후, 결과 기반의 RL을 통해 단순히 가이드를 거부하는 것이 아니라, 유용한 가이드일 경우 활용하고 오도하는 경우 수정하는 선택적 의존성을 극대화합니다. 실험 결과, 학습된 모델은 AIME 2026 및 WebShop 데이터셋에서 Base 모델 대비 잘못된 가이드에 대한 성능 하락을 유의미하게 방어하였으며, 유용한 가이드가 제공될 때의 성능 이점은 유지하는 결과를 보였습니다 [Table 3]. 특히, Mixed Workflow 상황에서 가이드가 신뢰할 수 없는 방향으로 변할 때, 학습된 모델은 기존 가이드에 매몰되지 않고 적절히 복구하는 능력을 보였습니다 [Figure 4].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 에이전트 신뢰성의 핵심 지표로서 '가이드 의존성 조절 능력'을 정립하고, 이를 평가할 수 있는 Box^2^-Bench를 성공적으로 구축하였습니다. 본 연구의 학습 기법은 단순히 Workflow뿐만 아니라 동료 모델의 정보나 메모리 시스템 등 다양한 형태의 외부 정보 활용 시에도 에이전트의 강건성을 향상시킬 수 있음을 입증했습니다. 이는 향후 자율적 에이전트가 복잡한 환경에서 외부 지식과 자신의 추론 능력을 유연하게 결합하여 더 높은 수준의 신뢰성을 확보하는 데 중요한 이정표가 될 것입니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 가이드 의존성 개념도

Figure 3 — 학습 데이터 구성 절차

Figure 4 — 학습 단계별 성능 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.