[논문리뷰] AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

저자: Anonymous Authors (Machine Learning and Systems (MLSys) Conference submission)

1. Key Terms & Definitions (핵심 용어 및 정의)

• AccelOpt: AI Accelerator(특히 Amazon Trainium) 환경에서 커널 성능을 자율적으로 최적화하기 위해 설계된 LLM 기반의 Agentic System입니다.
• NKIBench: 실사용 LLM 워크로드에서 추출한 NKI(Neuron Kernel Interface) 기반의 커널들로 구성된 벤치마크 스위트입니다.
• Optimization Memory: 에이전트가 탐색 과정에서 발견한 성공적인 'slow-fast' 커널 쌍 및 최적화 전략들을 저장하여, 향후 최적화에 재활용하는 메커니즘입니다.
• Beam Search: 커널 최적화 공간을 효율적으로 탐색하기 위해, 가장 유망한 후보 커널들을 유지하며 반복적으로 생성 및 필터링을 수행하는 전략입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 최신 AI Accelerator(예: Amazon Trainium)에서 고성능 커널을 개발하는 과정이 극도로 어렵고 고비용이라는 문제를 해결하고자 합니다. 기존의 수동적인 커널 튜닝 방식은 하드웨어 아키텍처에 대한 깊은 전문 지식을 필요로 하며, 신규 가속기가 출시될 때마다 반복되는 개발 주기는 시스템 효율성을 저해합니다. 기존 연구들은 대규모 커널 최적화 공간을 탐색하는 데 있어 전문가의 휴리스틱에 의존하거나 효율적인 성능 지표 설정에 한계를 보였습니다. 이러한 한계를 극복하기 위해, 저자들은 전문적인 하드웨어 지식 없이도 최적화를 수행할 수 있는 자율적인 LLM Agent 시스템을 제안합니다 [Figure 1].

Figure 1 — AccelOpt 워크플로우 및 핵심 컴포넌트

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Planner, Executor, Summarizer로 구성된 에이전트 워크플로우를 활용하여, Beam Search와 Optimization Memory를 통해 커널 최적화 공간을 반복적으로 탐색합니다 [Figure 1]. Planner는 성능 병목을 파악하고 최적화 계획을 수립하며, Executor는 이를 구현하고, Summarizer는 경험을 요약하여 Optimization Memory에 축적합니다. 실험 결과, AccelOpt는 NKIBench에서 Trainium 1의 경우 평균 peak throughput 달성률을 49%에서 61%로, Trainium 2는 45%에서 59%로 향상시켰습니다 [Figure 7]. 특히 오픈 소스 모델(예: gpt-oss-120b, Qwen3-Coder-480B)을 사용하여 Claude Sonnet 4와 대등한 성능을 내면서도 비용을 약 26배 절감하는 성과를 거두었습니다 [Figure 6]. 또한, Beam Search와 Optimization Memory를 결합한 방식이 단순 반복 샘플링 대비 훨씬 효율적인 수렴을 보임을 입증하였습니다 [Figure 13].

Figure 7 — Trainium 1/2 커널 성능 향상 비교

Figure 13 — 탐색 기법별 성능 수렴 효율 비교

4. Conclusion & Impact (결론 및 시사점)

본 논문은 최초의 자율형 LLM Agentic System인 AccelOpt를 제안하여 AI 가속기 커널 최적화의 자동화를 실현했습니다. 이 시스템은 하드웨어 전문가의 직접적인 개입 없이도 반복적인 자기 개선(Self-improving) 과정을 통해 인간 전문가 수준 이상의 성능을 달성할 수 있음을 보여주었습니다. 이번 연구는 가속기 최적화 생태계에 새로운 벤치마크인 NKIBench를 제공하고, 고가의 폐쇄형 모델 대신 오픈 소스 모델로도 충분히 높은 성능 달성이 가능함을 입증하여 향후 관련 분야의 저변 확대에 크게 기여할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.