[논문리뷰] The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows

링크: 논문 PDF로 바로 열기

메타데이터

저자: Junbo Li, Boyi Liu, Canwen Xu, Yite Wang, Yuxiong He, Zhangyang Wang, Qiang Liu, Zhewei Yao

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• ReASearch: 외부의 하드코딩된 제어 알고리즘 없이, LLM 에이전트가 도구(Tool)를 활용하여 최적화 과정 전체를 스스로 제어하는 Reasoning-driven 최적화 프레임워크입니다.
• Agentic Search: 고정된 메타휴리스틱(Meta-heuristics)을 사용하는 대신, 에이전트가 메모리, 분석, 그리고 도구 호출을 통해 최적화 전략을 자율적으로 수정하고 실행하는 방식입니다.
• Python_exec: 에이전트가 외부 스크립트를 실행하여 데이터 분석, 통계 계산, 실패 패턴 진단을 수행함으로써 단순한 텍스트 모델을 계산적 추론자로 변환하는 핵심 도구입니다.
• Persistent Memory: 최적화 과정 중 얻은 교훈(Lessons), 성공 및 실패 사례를 lessons.md와 같은 파일에 기록하고, 이를 통해 장기적인 최적화 루프 내에서 지식을 축적하는 모듈입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존의 프롬프트, 프로그램, ML 워크플로우 최적화 방식은 주로 진화 알고리즘(Evolutionary Search)이나 밴딧(Bandit)과 같은 외부의 명시적인 제어기(Outer-loop controller)에 의존하고 있습니다. 이러한 방식은 LLM을 단순한 제안 생성기(Proposal Generator)로만 사용하며, 검색 정책(Search Policy)에 대한 결정권을 모델 외부의 고정된 휴리스틱에 맡긴다는 근본적인 한계가 있습니다 [Figure 2]. 따라서 연구진은 LLM 에이전트가 외부 제어기 없이 스스로 평가 대상을 결정하고, 실패를 진단하며, 전략을 수정하는 검색 정책을 얼마나 내재화(Internalize)할 수 있는지에 대한 의문을 제기합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구에서 제안하는 ReASearch는 도구 사용 능력을 갖춘 단일 에이전트 아키텍처를 통해 다양한 도메인을 통합적으로 최적화합니다. 에이전트는 python_exec, get_next_minibatch, edit_code 등 도메인 특화 도구를 사용하여 실시간으로 피드백을 수집하고, 상황에 맞는 전략을 수립합니다 [Figure 3]. 특히, 고정된 탐색 루프 대신 에이전트의 Reasoning을 통해 검증(Verification), 재시도(Revert), 하이퍼파라미터 조정 등이 자율적으로 수행됩니다 [Figure 4]. 14개의 다양한 벤치마크 실험 결과, ReASearch는 기존의 전문화된 도메인별 최적화 시스템 대비 2%에서 40%까지 성능 향상을 달성했습니다. 일부 과제에서는 인간이 달성한 기존 최고 성능(Human best-known results)을 경신하며, 정량적 수치뿐만 아니라 복잡한 검색 행동들이 별도의 하드코딩 없이 에이전트의 Reasoning 과정에서 자연스럽게 나타남을 확인하였습니다.

4. Conclusion & Impact (결론 및 시사점)

결론적으로 ReASearch는 최적화 과정의 검색 정책을 에이전트 내부의 Reasoning으로 완전히 내재화할 수 있음을 입증하였습니다. 이 연구는 모델이 단순히 텍스트를 생성하는 도구를 넘어, 스스로 실험하고 진단하며 최적화 경로를 개척하는 '에이전트 중심의 최적화' 패러다임을 제시합니다. 본 연구의 결과는 복잡한 하이퍼파라미터 튜닝이나 프롬프트 엔지니어링 과정에서 인간의 개입을 최소화하고, 더 높은 자율성을 갖춘 AI 연구 보조 시스템을 개발하는 데 중요한 기반이 될 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 기존 방식 대비 ReASearch 위치

Figure 2 — ReASearch 아키텍처 및 비교

Figure 3 — 프롬프트 최적화 에이전트 궤적

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.