[논문리뷰] Executing as You Generate: Hiding Execution Latency in LLM Code Generation

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

저자: Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou, Li Li, David Lo

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Serial Execution : LLM이 전체 코드를 생성 완료한 후 해석기(Interpreter)를 호출하여 실행하는 기존의 지연된 순차적 방식.
• Parallel Execution : 코드 토큰이 생성됨과 동시에 이를 식별하고 실행하여, 생성과 실행 단계를 시간적으로 중첩시키는 새로운 패러다임.
• AST-based Chunking : AST(Abstract Syntax Tree) 분석을 통해 토큰 스트림에서 구문적으로 완결된 실행 단위를 증분적으로 식별하는 기술.
• Non-overlapped Execution Latency (NEL) : LLM 생성 단계 이후에 남아 있는, 오버랩되지 않은 실제 코드 실행 소요 시간.
• End-to-End Latency (E2EL) : 사용자 관점에서 LLM 호출 시작부터 코드 실행 완료까지 걸리는 총 소요 시간.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 기존 LLM 코드 생성 및 실행 파이프라인에서 발생하는 불필요한 대기 시간을 제거하는 것을 핵심 목표로 합니다. 현재의 Serial Execution 방식은 생성 단계와 실행 단계가 엄격히 분리되어 있어, 한 단계가 진행되는 동안 다른 단계는 유휴(Idle) 상태에 머무르게 되어 전체 지연 시간(Latency)이 증가하는 문제가 있습니다. 저자들은 토큰이 생성되는 즉시 이를 실행 가능한 단위로 파싱하여 실행하는 것이 가능함을 관찰하였으며, 이를 통해 사용자 체감 성능을 극대화하고자 하였습니다. [Figure 1]에 묘사된 바와 같이, 생성과 실행을 병렬로 처리함으로써 유휴 시간을 최소화하는 새로운 접근 방식이 필요합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 LLM 생성과 코드 실행을 병렬화하는 EAGER(Executing As you GEneRate) 프레임워크를 제안합니다. EAGER 는 AST 분석 기반의 chunking 모듈을 통해 스트리밍 토큰을 실행 단위로 분리하고, Dynamic Batching 과 Gated Execution 을 통해 불필요한 오버헤드를 줄이며, 런타임 에러 발생 시 즉각적으로 생성을 중단하는 Early Error Interruption 기능을 포함합니다. 실험 결과, EAGER 는 다양한 LLM(예: DeepSeek-V3.2 , GPT-4o-mini )과 벤치마크 환경에서 뛰어난 성능을 보였습니다.

• 모의 환경에서 NEL 을 83~100%까지 숨겨 제거하였으며, 실제 LLM 환경에서도 NEL 을 거의 0에 가깝게 줄였습니다.
• E2EL 측면에서는 에러가 없는 경우 최대 37.3%, 에러가 발생하는 경우 조기 중단 메커니즘을 통해 최대 55.3%의 시간 단축 효과를 확인하였습니다.
• 또한, 조기 에러 피드백을 통해 DSBench 및 DABench 등 데이터 분석 과제에서 후속 코드 수리(Repair) 성공률을 최대 44.3% 포인트까지 향상시켰습니다. [Table 2]는 다양한 모델별로 EAGER 가 기존 방식 대비 NEL 및 E2EL 을 크게 감소시킴을 정량적으로 증명합니다.

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 LLM 코드 생성 시 생성과 실행을 중첩시키는 Parallel Execution 이라는 새로운 시스템 패러다임을 공식화하고 이를 성공적으로 구현하였습니다. 이 연구는 기존의 비효율적인 '생성 후 실행' 관행을 '생성하며 실행'으로 전환하여 시스템 지연을 획기적으로 줄일 수 있음을 입증했습니다. 특히, 제안된 EAGER 프레임워크는 단순히 지연 시간을 줄이는 것을 넘어, 조기 피드백을 통해 모델의 코드 생성 및 디버깅 능력을 보완하는 시너지를 창출합니다. 향후 본 연구는 AI 에이전트 설계 및 프로그래밍 언어의 인터페이스 설계에 있어 '스트리밍 실행'을 위한 표준 아키텍처로 기능할 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 1",
    "page": 2,
    "bbox_top": 0.125,
    "bbox_bottom": 0.222,
    "bbox_left": 0.165,
    "bbox_right": 0.835,
    "caption": "An illustrative example comparing Serial Execution and Parallel Execution.",
    "importance": "기존 Serial 방식과 제안하는 Parallel 실행 방식의 시간적 중첩 차이를 극명하게 보여주는 다이어그램입니다."
  },
  {
    "figure_id": "Table 2",
    "page": 8,
    "bbox_top": 0.145,
    "bbox_bottom": 0.355,
    "bbox_left": 0.111,
    "bbox_right": 0.889,
    "caption": "Latency comparison (ms) between serial execution (Baseline) and Eager (EAGER) across seven LLMs on Docker.",
    "importance": "다양한 LLM 모델에 대한 성능 개선 효과를 구체적인 수치로 입증하는 핵심 비교 테이블입니다."
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.