[논문리뷰] MARS: Enabling Autoregressive Models Multi-Token Generation

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

메타데이터

저자: Ziqi Jin, Lei Wang, Ziwei Luo, Aixin Sun, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• MARS (Mask AutoRegreSsion) : 기존의 AR(Autoregressive) 모델을 구조적 변경 없이 미세 조정하여, 추론 시 한 번의 전방 패스(Forward Pass)로 여러 토큰을 동시에 생성할 수 있도록 하는 경량화 방법론.
• Block-Masked Prediction : 고정된 크기의 토큰 블록을 [MASK] 토큰으로 치환한 뒤, 이를 추론하여 여러 토큰을 한꺼번에 예측하는 기법.
• Confidence Thresholding (τ) : 생성된 토큰의 확률 값이 특정 임계값(Threshold)을 넘을 때만 다중 토큰 생성을 허용하는 동적 제어 메커니즘.
• SFT Loss (Supervised Fine-Tuning Loss) : 다중 토큰 학습 과정에서 발생하는 정보의 불균형을 해결하기 위해, Clean한 입력 스트림에 대해 기존 AR 학습 방식을 병행하여 모델의 기본 AR 능력을 유지시키는 손실 함수.
• Block-level KV Caching : 생성 과정에서 블록 단위로 KV 캐시를 업데이트하여, 배치 추론 시 반복적인 연산을 최소화하고 효율적인 처리량을 확보하는 전략.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 AR 모델이 추론 시 토큰을 하나씩 생성함에 따라 발생하는 불필요한 컴퓨팅 자원 낭비 문제를 해결하고자 한다. 기존의 다중 토큰 생성 연구인 Speculative Decoding은 보조 모델이 필요하여 메모리 오버헤드가 크고, Medusa와 같은 다중 헤드(Multi-head) 접근 방식은 구조적인 아키텍처 수정을 요구한다는 한계가 있다. 또한, 기존의 Block-Masked Prediction 방식은 모델의 추론 품질을 심각하게 저하시키는 경우가 많다. 따라서 저자들은 아키텍처 변경 없이, 별도의 모델 추가 없이도 다중 토큰 생성 기능을 갖추고 동시에 원래의 AR 모델 성능을 유지하는 새로운 최적화 방법을 제안한다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 MARS(Mask AutoRegreSsion)를 통해 블록 예측 시 발생하는 인과 관계(Causality), 로짓 정렬(Logits Alignment), 생성 순서(Generation Order) 문제를 해결하여 AR 모델과의 호환성을 극대화한다. 핵심 방법론은 학습 시 Clean 스트림과 Noisy(Masked) 스트림을 구조화된 어텐션 마스크와 함께 병렬로 처리하며, 특히 SFT Loss 를 결합하여 블록 크기가 커져도 AR 학습 신호가 소실되지 않도록 보존하는 것이다 [Figure 2]. 실험 결과, MARS-7B 모델은 단일 토큰 생성 모드에서 AR 베이스라인 성능을 능가하며, 다중 토큰 생성 모드에서는 베이스라인 대비 1.5–1.7배의 처리량(Throughput)을 달성하였다. 또한 Block-level KV Caching 전략을 통해 Qwen2.5-7B 모델에서 최대 1.71배의 Wall-clock 속도 향상을 입증하였다 [Table 5]. 제안된 기법은 Confidence Thresholding을 통해 서비스 부하에 따라 실시간으로 Latency와 Quality를 조절할 수 있는 유연성을 제공한다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 경량 미세 조정만으로 기존 AR 모델을 다중 토큰 생성 모델로 변환할 수 있는 강력한 프레임워크를 제시하였다. MARS는 어떠한 구조적 변경이나 추가 파라미터 없이 기존 모델 체크포인트를 그대로 재사용할 수 있다는 점에서 배포 용이성이 매우 뛰어나다. 이는 LLM 서빙 시스템에서 효율적인 자원 운용과 Latency 최적화를 가능하게 하며, 향후 산업계의 실제 모델 서빙 파이프라인에 즉각적으로 적용 가능한 실용적인 솔루션이 될 것으로 기대된다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 1",
    "image_url": "https://arxiv.org/html/2604.07023v1/x1.png",
    "caption_kr": "MARS의 GSM8K 추론 예시"
  },
  {
    "figure_id": "Figure 2",
    "image_url": "https://arxiv.org/html/2604.07023v1/x2.png",
    "caption_kr": "MARS 어텐션 마스크 및 추론 방식"
  },
  {
    "figure_id": "Figure 4",
    "image_url": "https://arxiv.org/html/2604.07023v1/x3.png",
    "caption_kr": "배치 추론용 블록 단위 KV 캐시"
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.