[논문리뷰] MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering

링크: 논문 PDF로 바로 열기

저자: Shangheng Du, Jinxin Shi, et al.

1. Key Terms & Definitions

본 논문에서 다루는 핵심 용어 및 개념은 다음과 같습니다:

• Machine Learning Engineering (MLE): 주어진 시간 예산 내에서 실행 가능한 ML 솔루션을 반복적으로 최적화하는 과정을 의미합니다.
• Agentic Model: LLM(Large Language Model) 정책을 기반으로 도구 상호작용을 통해 최적화 프로세스를 자율적으로 조직하고 수행하는 모델을 지칭합니다.
• Long-Horizon Optimization: 단일 스텝 생성 방식이 아닌, 반복적인 실행, 피드백 분석, 그리고 수정 과정을 통해 지속적인 상호작용 속에서 최적화를 수행하는 방식입니다.
• Hierarchical Agentic SFT (Supervised Fine-Tuning): MLExpert의 학습 방법론 중 하나로, 일반적인 도구 사용 및 코딩 능력 학습과 MLE 도메인 및 과학 연구 태스크에 특화된 알고리즘 설계 및 반복 최적화 능력 학습으로 구성된 2단계의 지도 학습을 의미합니다.
• Windowed Interaction Reinforcement Learning (WIRL): 연속적인 실험 결과 사이에서 이루어진 다중 턴(multi-turn) 의사결정을 '실행 윈도우(execution window)'로 그룹화하고, 해당 윈도우 내의 모든 의사결정에 공유된 결과 기반 보상(outcome-based reward)을 부여하여 정책을 최적화하는 강화 학습 방법론입니다.

2. Motivation & Problem Statement

본 논문은 LLM이 과학 연구 및 엔지니어링 지원을 넘어 AI 시스템을 자율적으로 개발하고 개선하는, 즉 AI for AI (AI4AI)를 통한 재귀적 자기 개선(Recursive Self-Improvement, RSI)의 길을 개척하는 데 있어 Machine Learning Engineering (MLE)의 장기적인 최적화 문제 해결을 목표로 합니다. 기존 MLE 시스템들은 주로 코드 생성 기능을 확장하여 반복적인 최적화를 수행하지만, 대부분 미리 정의된 워크플로우나 외부 검색 규칙에 의존하여 LLM은 지정된 단계에서 코드 생성이나 디버깅을 담당하는 데 그쳤습니다. 이러한 방식은 모델이 장기적인 상호작용에 걸쳐 실험을 계획하고 최적화 전략을 지속하는 능력을 제한하는 한계를 가집니다.

장기적인 최적화 능력 훈련에는 세 가지 주요 도전 과제가 존재합니다. 첫째, 개방형 MLE는 실험 상태를 유지하면서도 모델에게 행동 선택을 위임하는 상호작용 환경을 필요로 합니다. 둘째, MLE 태스크의 이질성과 유용한 탐색 및 실패 복구와 함께 품질이 저하된 의사결정이 혼합될 수 있는 상호작용 궤적(trajectory)으로 인해 고품질의 장기적인 지도(supervision) 데이터를 얻기 어렵습니다. 셋째, 각 비용이 많이 드는 실험은 전체 실행이 끝나기 전에 여러 선행 의사결정에 대한 피드백을 반환하므로, 온라인 강화 학습은 비동기적 데이터 수집 중에 정책 불일치(policy mismatch)를 처리하면서 중간 신호를 활용해야 합니다.

3. Method & Key Results

저자들은 자율적인 장기 MLE 최적화를 위한 포스트-트레이닝(post-training) 방법론을 제안하며, 이를 적용하여 35B Mixture-of-Experts (MoE) 에이전트 모델인 MLExpert를 훈련합니다. 이 방법론은 모델 주도형 장기 상호작용 하네스, 계층적 에이전트 SFT, 그리고 Windowed Interaction Reinforcement Learning (WIRL)을 결합합니다.

구체적으로, MLExpert는 장기적인 상호작용을 위해 다음 세 가지 핵심 구성 요소를 활용합니다 [Figure 2]. 첫째, Kaggle-MLE Factory는 이질적인 Kaggle Competition들을 퍼블릭 워크스페이스, 숨겨진 테스트셋 분할, 그리고 통합된 평가 인터페이스를 갖춘 실행 가능한 MLE 태스크로 변환합니다. 이 팩토리는 다중 에이전트 파이프라인을 사용하여 태스크 구축, 검증 및 수리를 자동화합니다. 둘째, Interaction Harness는 ReAct-style loop를 따라 모델 주도적인 장기 MLE 최적화를 지원합니다. 이는 실험 상태를 솔루션 노드에 저장하고, 솔루션 분석, 코드 수정, 실험 실행, 이력 검색 및 제출 관리를 위한 다양한 도구들을 모델에게 제공합니다. 셋째, Agentic MLE Post-Training은 Hierarchical Agentic SFT와 WIRL로 구성됩니다. Hierarchical Agentic SFT는 다양한 에이전트 태스크에서 수집된 코딩 및 도구 사용 궤적을 활용하여 일반적인 도구 사용 및 코드 수정 능력을 학습한 후, MLE 도메인 및 과학 문헌 기반 태스크를 통해 알고리즘 설계, 실험 분석 및 반복 최적화 능력을 향상시킵니다. 특히, Outcome-guided supervision selection을 통해 실행 결과에 기반한 고품질 궤적 및 세그먼트만 지도 학습에 사용됩니다. WIRL은 SFT 이후 모델의 자체 탐색으로부터 얻은 실행 피드백을 사용하여 장기적인 의사결정 정책을 더욱 최적화합니다. 각 실험 결과를 경계로 하는 연속적인 모델 의사결정을 Execution Window로 묶어, 해당 윈도우 내의 모든 의사결정에 공유된 결과 기반 보상 (R_m)을 할당합니다. 이 보상 체계는 Kaggle 메달 임계값과 로컬 성능 추세(local performance trend)를 반영하여 설계되었습니다. 또한, WIRL은 비동기적 데이터 수집(Asynchronous collection)과 토큰 레벨 정책 보정(token-level policy correction)을 통해 정책 불일치를 처리하며 효율적인 온라인 학습을 가능하게 합니다.

주요 실험 결과로, MLE-Bench Lite 벤치마크에서 MLExpert는 기본 모델인 Qwen3.6-35B-A3B의 평균 Any Medal rate를 37.9%에서 72.7%로 크게 향상시켰으며 [cite: 1, Table 1], 이는 GLM-5.3 및 Kimi-K3와 같은 더 큰 규모의 최첨단 모델들과 비견되는 성능입니다 [cite: 1, Table 1]. NatureBench Lite에서도 MLExpert는 Surpass-SOTA rate를 0.0%에서 50.0%로, Match-SOTA rate를 40.0%에서 70.0%로 개선하여 과학적 태스크 최적화 능력의 향상을 입증했습니다 [cite: 1, Table 2]. 또한, AIME agent scaffold optimization 태스크에서 MLExpert는 43.7%의 held-out accuracy를 달성하며 기본 모델의 23.3%를 넘어섰습니다 [cite: 1, Table 5]. MLS-Bench-Lite의 알고리즘 구성 요소 최적화 태스크에서도 MLExpert는 평균 verifier reward를 0.322에서 0.425로 향상시키며 12개 태스크 중 10개에서 기본 모델보다 우수한 성능을 보였습니다 [cite: 1, Figure 4, Table 12].

4. Conclusion & Impact

본 연구는 장기적인 상호작용을 통해 기계 학습 실험을 자율적으로 수행하고 개선하는 35B MoE 에이전트 모델인 MLExpert를 제안합니다. 저자들은 자동화된 MLE 태스크 팩토리와 모델 주도형 상호작용 하네스를 구축하고, 계층적 에이전트 SFT와 WIRL을 통해 MLExpert를 훈련하여 교사 데모(teacher demonstrations)와 자체 탐색을 통해 수집된 실행 피드백으로부터 학습하도록 했습니다. 광범위한 실험을 통해 MLExpert는 MLE-Bench Lite에서 기본 모델 대비 성능을 크게 개선하고, 더 큰 규모의 최첨단 모델들과 필적하는 성능을 달성함을 보여줍니다.

추가적으로, NatureBench Lite에서의 성능 향상과 에이전트 스캐폴드(agent scaffold) 및 알고리즘 최적화 태스크에서의 성공은 교차 태스크 일반화(cross-task generalization) 능력을 입증합니다. 이러한 결과들은 장기적인 최적화 의사결정을 훈련 가능한 모델 능력으로 간주할 수 있음을 지지하며, 자율적인 머신러닝 엔지니어링 및 과학적 실험을 향한 실질적인 경로를 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.