[논문리뷰] PlannerForge: LLM Agents for Scenario-Based Testing of Motion Planners in Autonomous Driving

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuan Gao, Sebastian Müller, Mattia Piccinini, Marc Kaufeld, Yuchen Zhang, Finn Rasmus Schäfer, Qunying Song, Johannes Betz

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• ADS (Autonomous Driving Systems): SAE Level 4 자율주행을 위한 통합 시스템으로, 본 논문에서는 motion planning 모듈의 안전성 검증이 주요 대상입니다.
• CommonRoad: 자율주행 연구를 위해 오픈 소스로 제공되는 벤치마크 데이터셋이자 XML 기반의 시나리오 표준 포맷입니다.
• SUMO (Simulation of Urban MObility): 실시간 교통 흐름 및 개별 차량 동역학 시뮬레이션을 수행하는 오픈 소스 소프트웨어로, 본 논문에서는 시나리오 수정 및 생성을 위해 사용됩니다.
• Module Router: 사용자 의도를 분류하여 Generation, Selection, Modification, Testing, Analysis 등 6가지 시나리오 검증 단계로 작업을 분배하는 LLM 에이전트 핵심 프레임워크입니다.
• Constraint Generator: LLM이 생성하는 결과물(XML, YAML 등)이 특정 스키마와 구문 제약(syntactic constraints)을 반드시 준수하도록 보장하는 프롬프트 엔지니어링 기술입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 자율주행 시스템의 안전성 검증을 위한 Scenario-based Testing 프로세스가 현재 파편화되어 있다는 핵심 문제를 해결하고자 합니다. 기존 방식은 시나리오 생성, 검색, 수정, 실행, 분석 단계가 개별 도구로 분리되어 자동화가 어렵고, 수동으로 처리해야 하는 병목 현상이 존재합니다. 특히 기존 연구들은 주로 Scenario Generation에만 국한되어 있어, 전체 파이프라인을 관통하는 통합적인 프레임워크가 부재합니다. 따라서 저자들은 LLM 에이전트를 도입하여 이러한 수동 단계를 자동화하고, 사용자가 자연어 인터페이스를 통해 전체 검증 수명주기를 관리할 수 있는 PlannerForge를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

PlannerForge는 총 6개의 모듈을 통합한 프레임워크로, Module Router를 통해 자연어 명령에 따라 유연하게 시나리오 검증 단계를 오가며 작업을 수행합니다 [Figure 2]. 각 모듈은 Contextual Prompt (CP), Chain-of-Thought (CoT), In-Context Learning (ICL) 기법을 활용하여 도메인 특화된 미세 조정 없이도 높은 성능을 발휘합니다 [Figure 4]. 특히 SUMO와의 연동을 통해 시나리오 수정 시 물리적으로 타당한 궤적을 생성하며, OpenStreetMap 데이터를 기반으로 현실적인 시나리오를 합성합니다.

정량적 평가 결과, PlannerForge는 10개의 LLM 모델에 대해 테스트되었으며, 최고 성능 모델들은 대부분의 태스크에서 0.88에서 1.00 사이의 높은 점수를 기록했습니다. Qwen3.6:35B와 같은 오픈 소스 모델들은 상용 API와 대등한 성능을 보였습니다.

• Scenario Selection에서는 기존 BM25 방식(67.5%) 대비 높은 성능(92.0%)을 달성했습니다.
• Scenario Modification에서는 물리적으로 유효한 수정 비율이 기존 연구인 From-Words-to-Collisions를 크게 상회(≥94% vs 31%)함을 입증했습니다.
• 전체적인 Cost-tuning을 통해 플래너 성공률을 50.4%에서 70.2%로 향상시켰으며, 충돌 횟수를 19.0%에서 8.4%로 유의미하게 감소시켰습니다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 PlannerForge를 통해 자율주행 시나리오 기반 검증의 전 과정을 자동화한 최초의 통합 LLM 에이전트 프레임워크를 제시하였습니다. 이 연구는 자율주행 시스템 개발 과정에서 요구되는 방대한 시나리오 테스트 비용을 절감하고, 자연어 기반 인터페이스를 통해 연구자의 접근성을 극대화하는 데 기여합니다. 본 프레임워크는 학계 및 산업계에서 복잡한 시나리오 생성 및 분석을 가속화하는 표준 도구로 활용될 잠재력이 크며, 향후 다양한 모션 플래너 벤치마킹을 위한 기초 환경으로 사용될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.