[논문리뷰] Harness-Aware Distillation for Small Language Model Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Moonseok Choi, Taehong Moon, Giung Nam, Juho Lee

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Harness: 에이전트 외부에서 환경 상태, 도구 사용 가능 여부, 피드백 등을 관리하며 에이전트의 입력 컨텍스트를 구성하는 소프트웨어 프레임워크입니다.
• Harness Utilization: 에이전트의 다음 액션이 Harness가 제공하는 정보(예: 사용 가능한 액션 목록, 금지된 액션 등)와 얼마나 일치하는지를 나타내는 정량적 지표입니다.
• Harness-Aware Distillation (HAD): 학습 과정에서 동일한 선생님 모델(Teacher)을 Harness 정보가 있는 경우와 없는 경우로 구분하여 쿼리하고, 그 차이를 활용해 학생 모델(Student)을 학습시키는 방법론입니다.
• Action Validity Filtering: 선생님 모델이 제안한 액션이 Harness 기록과 상충할 경우, 해당 액션을 학습 데이터에서 제외하여 모델이 잘못된 정보를 학습하지 않도록 차단하는 메커니즘입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 대규모 언어 모델 기반 에이전트(Large Language Model Agents)를 소형 모델로 증류(Distillation)할 때 발생하는 효율성 저하와 Harness 정보 활용 능력 부족 문제를 해결하고자 합니다. 기존의 On-policy Distillation (OPD) 방식은 Harness를 단순히 입력의 일부로만 처리하여, 모델이 Harness가 제공하는 환경 변화에 적절히 대응하는 능력을 독립적으로 습득하지 못하는 한계가 있습니다 [Figure 1]. 또한, 학습 과정에서 선생님 모델의 잘못된 액션 타겟이 Harness 기록과 충돌함에도 이를 무비판적으로 수용하여 성능 저하를 초래한다는 문제가 있습니다. 이러한 이중적 문제로 인해 학생 모델은 흔히 비생산적인 루프(Unproductive loops)에 빠지거나 환경 변화에 대응하지 못하는 현상을 보입니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문에서 제안하는 HAD는 Harness-aware action preference learning과 Harness-aware action validity filtering이라는 두 가지 핵심 요소를 기존의 응답 증류(Response distillation)에 결합합니다 [Figure 3]. HAD는 에이전트가 방문한 상태에서 선생님 모델을 'Harness 정보가 있는 버전'과 '없는 버전'으로 각각 쿼리하여, Harness 정보를 활용했을 때 선택되는 액션을 우선시하도록 대조적 학습(Contrastive learning)을 수행합니다 [Figure 3]. 동시에, 선생님 모델의 액션이 환경의 물리적 기록과 모순될 경우, Validity checker를 통해 해당 학습 데이터를 필터링함으로써 오염된 정보의 전달을 방지합니다 [Equation 7]. 실험 결과, HAD는 ALFWorld, WebShop, ScienceWorld 등 다양한 벤치마크에서 기존 OPD, SAGE-OPD, Guided-OPD, SOPD 대비 일관되게 높은 성능 우위를 점했습니다 [Table 2]. 특히, ALFWorld 환경에서 HAD는 기존 baseline 대비 Harness Utilization을 큰 폭으로 향상시켰으며(65.7% → 81.0%), 성공률(Success Rate) 또한 43.1%에서 57.4%로 크게 개선되는 성과를 보였습니다 [Figure 2].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 에이전트 증류 과정에서 Harness 정보를 명시적으로 활용하는 것이 모델 성능 향상에 필수적임을 입증했습니다. HAD는 작업 보상이나 성공 여부에 대한 라벨 없이도, Harness와 환경 간의 상호작용만을 이용해 보다 강력한 에이전트를 효율적으로 증류할 수 있음을 보여줍니다. 이 연구는 대형 모델의 추론 능력을 소형 모델로 성공적으로 이식함으로써, 향후 자원 제약이 있는 환경에서의 에이전트 배포 및 활용 가능성을 크게 확장할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.