[논문리뷰] LOLPlay: Benchmarking Real-Time Visual Agents in League of Legends

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhaojian Yu

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• LOLPlay: 실시간 League of Legends 환경에서 Visual Agent의 수행 능력을 평가하기 위해 제안된 벤치마크 프레임워크입니다.
• Subgoal: 특정 작업을 완료하기 위해 달성해야 하는 개별적인 필수 요구사항(예: 특정 레벨 도달, 특정 아이템 구매)으로, 작업 성공 여부와 별개로 중간 진행도를 측정하는 단위입니다.
• LCU (League Client Update) API: League of Legends 게임의 로비 생성, 챔피언 선택, 설정 구성 등 외부 환경 세팅을 자동화하기 위해 사용되는 인터페이스입니다.
• Live Client Data (LCD) API: 실시간 게임 내부 데이터(캐릭터 속성, 이벤트 타임스탬프, 게임 시간 등)를 추출하여 작업 달성 여부를 검증하는 평가용 API입니다.
• Action-Observation Mismatch: 에이전트가 스크린샷을 통해 상황을 인지한 후 추론하는 동안 게임 환경이 계속 진행되어, 실제 행동 시점에는 관찰했던 정보가 유효하지 않게 되는 현상입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 Visual Agent가 실시간으로 변화하는 환경에서 어떻게 일관성 있는 의사결정을 내리고 시의적절한 행동을 수행할 수 있는지를 탐구합니다. 대부분의 기존 벤치마크는 정적이거나 턴제 기반의 환경을 다루지만, 실제 게임 환경은 에이전트의 추론 속도를 기다려주지 않으며, 추론하는 동안 목표물이 사라지거나 상황이 위협적으로 변할 수 있습니다 [Figure 1]. 저자들은 기존의 컴퓨터 사용 에이전트 평가 방식이 이러한 동적 환경에서의 시간적 제약과 순차적 목표 완수를 제대로 반영하지 못한다는 점을 지적합니다. 따라서 본 연구는 실시간 MOBA(Multiplayer Online Battle Arena) 환경에서 에이전트의 성과와 중간 단계의 진행도를 객관적으로 측정하는 새로운 평가 기준을 마련하고자 합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 36개의 챔피언별 과제와 82개의 Subgoal로 구성된 LOLPlay 벤치마크를 제안하며, 이는 게임 진행을 멈추지 않고 실시간으로 에이전트의 제어 성능을 평가합니다 [Figure 2]. 각 과제는 LCU를 통한 초기화와 LCD를 통한 엄격한 이벤트 기반 평가로 이루어지며, 모델의 성능은 작업 성공률(Task Success Rate)과 Subgoal 성공률을 통해 정량화됩니다. 실험 결과, GPT-6 Astra 모델이 저/중간 노력(Reasoning Effort) 설정에서 25.0%의 작업 성공률로 가장 높은 성과를 기록했습니다. 흥미롭게도 전반적인 연구에서 높은 수준의 추론 노력이 오히려 작업 성공률을 높이지 못하는 경향을 보였으며, 이는 실시간 제어에서 긴 추론 시간이 실제 행동의 시의성을 저해할 수 있음을 시사합니다 [Figure 5]. 구체적으로 Subgoal 성공률 측면에서도 중간 수준의 노력이 가장 효율적이었으며, 에이전트들이 챔피언 성장(레벨/능력치)은 일부 달성하나 전투 목표나 협동 과제 수행에는 큰 어려움을 겪는다는 점이 확인되었습니다 [Figure 3].

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 실시간 동적 환경에서 Visual Agent가 겪는 인지-행동 불일치 문제를 LOLPlay를 통해 체계적으로 조명합니다. 실험 결과는 단순히 더 많은 추론 자원을 투입하는 것이 실시간 제어 성능 향상으로 이어지지 않음을 명확히 보여주며, 이는 향후 에이전트 설계 시 지연 시간(Latency)과 반응성 최적화가 필수적임을 시사합니다. 이 벤치마크는 학계와 산업계가 보다 민첩하고 실시간 환경 적응력이 뛰어난 범용 인공지능 에이전트를 개발하는 데 중요한 평가 지표로 활용될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.