[논문리뷰] GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed

링크: 논문 PDF로 바로 열기

The content is quite extensive. I'll go through it section by section to extract the required information.

**Authors:** Qize Yu, Lianrui Fan, Bowen Ping, Xini Ding, Zetian Song, Junbo Niu, Kaixuan Wang, Tianxing Chen, Yue Chen, Minghua He, Yuran Wang, Jie Huang, Haojun Zhang, Min Chen, Hao Li, Wenxuan Song, Ruihai Wu, Xianming Liu, Shilong Liu, Shuchang Zhou, Ping Luo, Shiyu Huang. I'll use "Qize Yu, Lianrui Fan, Bowen Ping, et al." for brevity as allowed.

**Keywords:** Based on the abstract and introduction, I'll select terms like `Visual Grounding`, `Parallel Decoding`, `Diffusion Vision-Language Models`, `Foundation Model`, `Reinforcement Learning`, `Latency`, `Throughput`, `Structured Prediction`.

**Part 1: Markdown Summary**

**## 1. Key Terms & Definitions**
- **Visual Grounding**: 이미지 내에서 텍스트 쿼리나 시각적 프롬프트에 해당하는 객체, 위치, 공간 관계를 식별하고 구조화된 공간 예측으로 변환하는 작업.
- **Autoregressive (AR) Decoding**: 다음 토큰 예측(Next-token prediction) 방식으로, 출력 토큰이 순차적으로 생성되어 공간 예측의 직렬 Latency를 유발한다.
- **Diffusion Vision-Language Model (DLM)**: 마스킹된 확산(Masked Diffusion) 기법을 사용하여 병렬 생성 및 양방향 정제(Bidirectional Refinement)를 지원하는 VLM.
- **Parallel Decoding**: 모델이 출력 토큰을 병렬적으로 생성하여 Inference Latency를 줄이는 방식. GroundAnything에서는 Blockwise Denoising을 통해 이를 구현한다.
- **Self-Speculative Decoding**: Diffusion Drafting과 AR Verification을 결합하여 속도와 정확도를 동시에 향상시키는 디코딩 모드.

**## 2. Motivation & Problem Statement**
본 논문은 Autoregressive (AR) Grounding Model의 본질적인 Latency 문제와 다양한 Visual Grounding Task에 대한 Diffusion Vision-Language Model (DLM)의 잠재력 미활용 문제를 해결하고자 한다. 기존 AR 모델인 Pix2Seq, Florence-2 등은 공간 예측을 구조화된 토큰 시퀀스로 직렬화하여, 특히 Dense Scene이나 복잡한 레이아웃에서 Decoding Latency가 크게 증가하는 한계를 지닌다. 이러한 직렬화는 출력 상호작용을 생성된 Prefix로 제한하며, 이는 Grounding Task의 본질적인 특성, 즉 공간 변수들이 이미지와 쿼리에 의해 공동으로 제약되지만 고정된 좌-우 생성 순서를 필요로 하지 않는다는 점과 상충한다. LocateAnything과 같은 Multi-Token Prediction (MTP) 방식이 병렬 Box Decoding을 통해 AR Latency를 줄였지만, Diffusion의 광범위한 Structured Prediction 잠재력은 Domain-Specific한 응용에 머물러 있었다. 따라서 GroundAnything은 빠르고 병렬적인 Decoding과 광범위하고 정밀한 Visual Grounding을 동시에 달성하기 위한 새로운 접근 방식의 필요성을 제기한다.

**## 3. Method & Key Results**
저자들은 GroundAnything을 제안하며, 이는 4B-parameter 규모의 Grounding Foundation Model로, Broad Perceptual Capability와 Blockwise Parallel Decoding을 결합한다. GroundAnything은 MoonViT-V2 Visual Encoder와 Qwen3-4B Language Decoder를 기반으로 하며, Quantized Coordinates를 포함하는 공유 Vocabulary를 사용하여 다양한 Grounding Task를 통합한다. 이 모델은 GroundAnything-VLM이라는 Autoregressive Grounding Model을 직접 변환하여 얻어진 Diffusion Grounding Model이다 [Figure 1].

Training은 Public Dataset과 저자들의 Data Engine (Field-level fusion 및 Task-specific validation을 수행) [Figure 2]을 활용한 Grounding Pretraining, Joint AR 및 Diffusion Objective를 사용한 AR-to-Diffusion Conversion [Figure 3], Supervised Fine-tuning, 그리고 GRPO 기반 Reinforcement Post-training [Figure 4] 단계를 포함한다. GroundAnything-VLM은 30개 Grounding Benchmark에서 72.42%의 Overall State of the Art (SOTA) 성능을 달성하며 GPT-6 Astra (71.35%)와 경쟁하는 수준을 보인다. GroundAnything은 Entropy-Guided Decoding을 통해 이전 AR SOTA 모델을 능가하는 61.75%의 평균 성능을 기록하며, GroundAnything-VLM 대비 2배 이상의 속도를 보여준다. 특히 Self-Speculative Decoding 모드를 사용하면 COCO F1mIoU에서 0.74 Percentage-Point (pp)의 소폭 하락만으로 AR Counterpart 대비 **4.51배**의 Speedup을 달성한다. Infrastructure Optimization (SGLang, CUDA Graph, FP8)을 통해 Time per Output Token을 줄여 추가적으로 **3.45~4.06배**의 Practical Speedup을 확인하였다 [Figure 14]. 또한, Dense200 Benchmark에서 GroundAnything-VLM은 **75.55 F1mIoU**, GroundAnything은 **70.04 F1mIoU**를 달성하여 GPT-6 Astra (**65.04 F1mIoU**)를 능가한다 [Table 17]. 이는 밀집된 Instance에 대한 정밀한 Visual Evidence Extraction 능력을 직접적으로 보여준다.

**## 4. Conclusion & Impact**
본 연구는 빠르고 병렬적인 Decoding을 광범위하고 정밀한 Visual Grounding과 조화시키는 GroundAnything 모델을 성공적으로 제시한다. Grounding Task는 공유된 Visual Evidence에 의해 예측이 공동으로 제약되기 때문에 Diffusion Language Model (DLM)에 자연스럽게 적합하다는 것을 입증하였다. Diffusion은 Transformer Backbone을 보완하며, 병렬 채우기(Parallel Filling)와 구조화된 출력(Structured Outputs)에서 특유의 강점을 보이는 생성 프로세스를 제공한다. GroundAnything은 기존 Autoregressive (AR) 모델의 본질적인 Latency 문제를 효과적으로 해결하며, 30개 Grounding Benchmark에서 SOTA 성능을 달성함과 동시에 현저한 Inference Speedup을 제공한다. 이러한 연구는 Latency-Sensitive한 Real-world System에서의 효율적인 Visual Grounding 응용 가능성을 열며, AI가 Visual Grounding Task를 처리하는 방식에 대한 근본적인 패러다임 변화를 제시한다.

**Part 2: Important Figure Information (JSON)**
I need to find figures that show the architecture, key results, or methodology.
- Figure 1: Model Architecture.
- Figure 2: Data Engine.
- Figure 3: Conversion Attention Mask.
- Figure 4: Training and Inference Pipeline.
- Figure 5: Self-Speculative Decoding.
- Figure 6: Grounding Across Task Groups (summary of results).
- Figure 7: Self-speculative schedules (speed analysis).
- Figure 8: Entropy-threshold sensitivity (speed analysis).
- Figure 9: Decoding strategy and block size (speed analysis).
- Figure 10: Acceptance at matched candidate length (DLM vs MTP).
- Figure 11: Cost per accepted draft token (DLM vs MTP).
- Figure 12: Refinement and available decode time (DLM vs MTP).
- Figure 13: Draft diagnostics before verification (DLM vs MTP).
- Figure 14: Progressive inference optimization (infrastructure speedup).
- Figure 15: Architecture and training ablations.
- Figure 16: Generation cost versus predicted object count.

I will choose:
1. Figure 1: Overall architecture.
2. Figure 4: Training and inference pipeline (good overview of the method).
3. Figure 14: Progressive inference optimization (shows key speed results).

I need to get the exact `src` attribute for these figures.
Looking at the HTML:
- Figure 1: `<img src="2609.39600v1/x2.png">` -> `https://arxiv.org/html/2609.39600v1/x2.png`
- Figure 4: `<img src="2609.39600v1/x5.png">` -> `https://arxiv.org/html/2609.39600v1/x5.png`
- Figure 14: `<img src="2609.39600v1/x15.png">` -> `https://arxiv.org/html/2609.39600v1/x15.png`

Let's double-check the citation indices. I used `[cite: 1]` for all the facts from the browsed page. This is correct as I only browsed one URL.
I also referenced the figures within the text using `[Figure N]`.
All constraints seem to be met.**저자:** Qize Yu, Lianrui Fan, Bowen Ping, et al.


## 1. Key Terms & Definitions
- **Visual Grounding**: 이미지 내에서 텍스트 쿼리나 시각적 프롬프트에 해당하는 객체, 위치, 공간 관계를 식별하고 구조화된 공간 예측으로 변환하는 작업.
- **Autoregressive (AR) Decoding**: 다음 토큰 예측(Next-token prediction) 방식으로, 출력 토큰이 순차적으로 생성되어 공간 예측의 직렬 Latency를 유발한다.
- **Diffusion Vision-Language Model (DLM)**: 마스킹된 확산(Masked Diffusion) 기법을 사용하여 병렬 생성 및 양방향 정제(Bidirectional Refinement)를 지원하는 VLM.
- **Parallel Decoding**: 모델이 출력 토큰을 병렬적으로 생성하여 Inference Latency를 줄이는 방식. GroundAnything에서는 Blockwise Denoising을 통해 이를 구현한다.
- **Self-Speculative Decoding**: Diffusion Drafting과 AR Verification을 결합하여 속도와 정확도를 동시에 향상시키는 디코딩 모드.

## 2. Motivation & Problem Statement
본 논문은 Autoregressive (AR) Grounding Model의 본질적인 Latency 문제와 다양한 Visual Grounding Task에 대한 Diffusion Vision-Language Model (DLM)의 잠재력 미활용 문제를 해결하고자 한다. 기존 AR 모델인 Pix2Seq, Florence-2 등은 공간 예측을 구조화된 토큰 시퀀스로 직렬화하여, 특히 Dense Scene이나 복잡한 레이아웃에서 Decoding Latency가 크게 증가하는 한계를 지닌다. 이러한 직렬화는 출력 상호작용을 생성된 Prefix로 제한하며, 이는 Grounding Task의 본질적인 특성, 즉 공간 변수들이 이미지와 쿼리에 의해 공동으로 제약되지만 고정된 좌-우 생성 순서를 필요로 하지 않는다는 점과 상충한다. LocateAnything과 같은 Multi-Token Prediction (MTP) 방식이 병렬 Box Decoding을 통해 AR Latency를 줄였지만, Diffusion의 광범위한 Structured Prediction 잠재력은 Domain-Specific한 응용에 머물러 있었다. 따라서 GroundAnything은 빠르고 병렬적인 Decoding과 광범위하고 정밀한 Visual Grounding을 동시에 달성하기 위한 새로운 접근 방식의 필요성을 제기한다.

## 3. Method & Key Results
저자들은 GroundAnything을 제안하며, 이는 4B-parameter 규모의 Grounding Foundation Model로, Broad Perceptual Capability와 Blockwise Parallel Decoding을 결합한다. GroundAnything은 MoonViT-V2 Visual Encoder와 Qwen3-4B Language Decoder를 기반으로 하며, Quantized Coordinates를 포함하는 공유 Vocabulary를 사용하여 다양한 Grounding Task를 통합한다. 이 모델은 GroundAnything-VLM이라는 Autoregressive Grounding Model을 직접 변환하여 얻어진 Diffusion Grounding Model이다 [Figure 1].

Training은 Public Dataset과 저자들의 Data Engine (Field-level fusion 및 Task-specific validation을 수행) [Figure 2]을 활용한 Grounding Pretraining, Joint AR 및 Diffusion Objective를 사용한 AR-to-Diffusion Conversion [Figure 3], Supervised Fine-tuning, 그리고 GRPO 기반 Reinforcement Post-training [Figure 4] 단계를 포함한다. GroundAnything-VLM은 30개 Grounding Benchmark에서 72.42%의 Overall State of the Art (SOTA) 성능을 달성하며 GPT-6 Astra (71.35%)와 경쟁하는 수준을 보인다. GroundAnything은 Entropy-Guided Decoding을 통해 이전 AR SOTA 모델을 능가하는 61.75%의 평균 성능을 기록하며, GroundAnything-VLM 대비 2배 이상의 속도를 보여준다. 특히 Self-Speculative Decoding 모드를 사용하면 COCO F1mIoU에서 0.74 Percentage-Point (pp)의 소폭 하락만으로 AR Counterpart 대비 **4.51배**의 Speedup을 달성한다. Infrastructure Optimization (SGLang, CUDA Graph, FP8)을 통해 Time per Output Token을 줄여 추가적으로 **3.45~4.06배**의 Practical Speedup을 확인하였다 [Figure 14]. 또한, Dense200 Benchmark에서 GroundAnything-VLM은 **75.55 F1mIoU**, GroundAnything은 **70.04 F1mIoU**를 달성하여 GPT-6 Astra (**65.04 F1mIoU**)를 능가한다 [Table 17]. 이는 밀집된 Instance에 대한 정밀한 Visual Evidence Extraction 능력을 직접적으로 보여준다.

## 4. Conclusion & Impact
본 연구는 빠르고 병렬적인 Decoding을 광범위하고 정밀한 Visual Grounding과 조화시키는 GroundAnything 모델을 성공적으로 제시한다. Grounding Task는 공유된 Visual Evidence에 의해 예측이 공동으로 제약되기 때문에 Diffusion Language Model (DLM)에 자연스럽게 적합하다는 것을 입증하였다. Diffusion은 Transformer Backbone을 보완하며, 병렬 채우기(Parallel Filling)와 구조화된 출력(Structured Outputs)에서 특유의 강점을 보이는 생성 프로세스를 제공한다. GroundAnything은 기존 Autoregressive (AR) 모델의 본질적인 Latency 문제를 효과적으로 해결하며, 30개 Grounding Benchmark에서 SOTA 성능을 달성함과 동시에 현저한 Inference Speedup을 제공한다. 이러한 연구는 Latency-Sensitive한 Real-world System에서의 효율적인 Visual Grounding 응용 가능성을 열며, AI가 Visual Grounding Task를 처리하는 방식에 대한 근본적인 패러다임 변화를 제시한다.

> ⚠️ **알림:** 이 리뷰는 AI로 작성되었습니다.