[논문리뷰] Discovering Multiagent Learning Algorithms with Large Language Models

링크: 논문 PDF로 바로 열기

저자: Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

핵심 연구 목표

이 논문은 다중 에이전트 강화 학습(MARL) 알고리즘의 수동적인 설계 및 반복적인 개선의 한계를 극복하기 위해 대규모 언어 모델(LLM) 을 활용하여 새로운 알고리즘을 자동으로 발견하는 것을 목표로 합니다. 특히, 직관에 의존하던 후회 최소화(CFR) 및 정책 공간 반응 오라클(PSRO) 알고리즘의 핵심 컴포넌트 설계를 자동화하고자 합니다.

핵심 방법론

저자들은 AlphaEvolve 라는 LLM 기반의 진화적 코딩 에이전트를 사용하여 알고리즘의 소스 코드를 진화시켰습니다. 이 프레임워크는 LLM 을 지능형 유전자 연산자처럼 활용하여 코드 변이, 새로운 제어 흐름 및 기호 연산을 도입하며, Exploitability 를 주요 적합성 지표로 사용하여 후보 알고리즘을 평가하고 선택합니다. 이를 통해 CFR 의 후회 누적 및 정책 도출 로직과 PSRO 의 메타 전략 솔버를 진화시켰습니다.

주요 결과

AlphaEvolve 는 두 가지 패러다임에서 혁신적인 알고리즘을 발견했습니다. VAD-CFR 은 Discounted Predictive CFR+ 와 같은 최신 기준선을 능가하는 성능을 보였으며, 11개 게임 중 10개 에서 최첨단 성능을 달성하거나 능가했습니다. 또한 SHOR-PSRO 는 Kuhn Poker 에서 PRD 나 RM 보다 빠르게 10-3 미만의 exploitability 를 달성하고, 11개 게임 중 8개 에서 최첨단 성능을 달성하거나 능가하는 우수한 수렴 속도와 안정성을 입증했습니다.

AI 실무자를 위한 시사점

이 연구는 LLM 기반 진화 시스템 이 하이퍼파라미터 튜닝을 넘어 복잡한 AI 알고리즘 자체를 발견할 수 있음을 보여줍니다. 이는 MARL 연구 개발 에 새로운 패러다임을 제시하며, 인간의 직관으로는 상상하기 어려운 비직관적이지만 효과적인 솔루션을 찾는 데 AI 자동화 가 크게 기여할 수 있음을 시사합니다. 미래에는 AI 엔지니어들이 LLM 기반 도구 를 활용하여 알고리즘을 설계하고 최적화하는 방식이 보편화될 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.