[논문리뷰] ProVe: Proposer-Verifier Decoding본 연구는 기존 Speculative Decoding이 가진 고정된 역할 분담 모델, 즉 느린 small draft 모델과 빠른 대형 verifier 모델의 한계를 극복하고자 제안되었습니다. 기존 방식은 draft 모델의 직렬 연산 병목으로 인해 가속 효율에 제한이 있었습니다.#Review#Speculative Decoding#Block Proposal#AR Model#Throughput#Verifier#Inference Acceleration#Auto-regressive2026년 11월 2일댓글 수 로딩 중
[논문리뷰] On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order PredictionDiffusion Language Models (DLMs)는 병렬 텍스트 생성이라는 새로운 가능성을 제시하지만, 실제 운용 환경에서는 속도와 품질 사이의 근본적인 트레이드오프 문제에 직면한다.#Review#Speculative Decoding#Diffusion Language Models (DLMs)#Commit-Order Prediction#Coupled-Noise Verification#Lossless Acceleration#Throughput#Dynamic Threshold Decoding2026년 10월 27일댓글 수 로딩 중
[논문리뷰] DuoLM: Fast and Effective Personalized Recommendation with Language ModelsLanguage models 기반의 personalized recommendation 시스템은 rich item content, user history, feedback을 활용하여 사용자 선호도를 효과적으로 평가할 수 있습니다.#Review#Personalized Recommendation#Language Models#Efficient Inference#Item Representation#Distillation#Throughput#Latency#CUDA Graph2026년 10월 25일댓글 수 로딩 중
[논문리뷰] What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models본 논문은 Masked Diffusion Language Models에서 효율적인 생성 속도를 달성하기 위한 Unmasking Policy의 설계 기준을 명확히 규명하고자 합니다.#Review#Masked Diffusion Language Models#Unmasking Policy#Trajectory Contraction#Efficiency#Throughput#NFE#Distillation2026년 10월 22일댓글 수 로딩 중
[논문리뷰] PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent StatesLinear-attention Language Models는 고정된 크기의 recurrent state를 사용하여 Transformer의 Key-Value cache를 대체하지만, 여러 concurrent sequence를 처리할 때 이 state가 상당한 memory를 차지하게 됩니다.#Review#State Quantization#Linear-Attention Language Models#Recurrent State#Periodic Rounding#Decode Buffer#Channel-Aligned Scale Groups#Four-Bit Quantization#Throughput2026년 10월 21일댓글 수 로딩 중
[논문리뷰] DLite: History-free Speculative Decoding for Agentic AI본 논문은 Agentic Workloads 환경에서 기존 Speculative Decoding 방법론들이 겪는 Degraded Acceptance Length와 Historical KV Cache Maintenance Overhead 문제를 해결하기 위해 DLite를 제안한다.#Review#Speculative Decoding#Agentic AI#History-Free#LLM Inference#KV Cache#Two-stage Training#Acceptance Length#Throughput2026년 10월 18일댓글 수 로딩 중
[논문리뷰] GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed본 논문은 Autoregressive (AR) Grounding Model의 본질적인 Latency 문제와 다양한 Visual Grounding Task에 대한 Diffusion Vision-Language Model (DLM)의 잠재력 미활용 문제를 해결하고자 한다.#Review#Visual Grounding#Parallel Decoding#Diffusion Vision-Language Models#Foundation Model#Reinforcement Learning#Latency#Throughput#Structured Prediction2026년 10월 12일댓글 수 로딩 중
[논문리뷰] SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving본 논문은 MoE 모델 Serving 시 batched decoding에서 발생하는 Expert-weight 로딩 병목 문제를 해결하기 위해 SlimWise를 제안한다.#Review#Mixture-of-Experts#Expert Pruning#KV Cache Handoff#LLM Serving#Model Distillation#Throughput2026년 10월 6일댓글 수 로딩 중
[논문리뷰] AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines본 논문은 기존의 Retrieval-Based SD가 복잡한 Coding Agent 파이프라인에서 최적의 성능을 내지 못하는 한계를 해결하기 위해 제안되었습니다.#Review#Retrieval-Based Speculative Decoding#Coding Agent Pipelines#Throughput#Latency#Draft-Length Control#Session-Aware Retrieval2026년 10월 1일댓글 수 로딩 중
[논문리뷰] The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction본 연구는 대규모 MoE 모델을 단일 GPU에서 구동할 때 발생하는 극심한 Memory Wall 문제를 해결하는 데 집중합니다. 기존 연구들은 주로 Weight Quantization이나 Weight Pruning을 통해 모델 크기를 줄여 VRAM 내에 적재하려 시도했으나, 이는 모델의 Accuracy 저하를 초래합니다.#Review#Mixture-of-Experts#SSD#Memory Wall#Routing Prediction#LLM Inference#Throughput2026년 9월 16일댓글 수 로딩 중
[논문리뷰] Unlocking Lossless Speedups in LLMs via Discrete Diffusion본 논문은 Autoregressive (AR) Large Language Models (LLMs)의 핵심 bottle-neck인 느린 순차적 토큰 생성을 해결하고자 한다. 기존 AR LLMs는 한 번에 하나의 토큰만 생성하므로 추론 시 높은 Latency를 유발하고 GPU utilization을 저하시킨다.#Review#Diffusion-augmented LLMs#Discrete Diffusion#Lossless Acceleration#Ψ-Spec Sampler#Speculative Decoding#Throughput#Tokens-Per-Forward-pass (TPF)#LoRA2026년 9월 7일댓글 수 로딩 중
[논문리뷰] Speculative Pipeline Decoding: Higher-Accruacy and Zero-Bubble Speculation via Pipeline Parallelism본 논문은 기존 Speculative Decoding의 핵심인 다중 토큰 예측(Multi-token prediction) 방식이 갖는 구조적 한계를 극복하고자 합니다.#Review#Speculative Decoding#Pipeline Parallelism#LLM Inference#Feature Aggregation#Latency Hiding#Throughput2026년 6월 1일댓글 수 로딩 중
[논문리뷰] Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving본 논문은 End-to-End Autonomous Driving을 위한 Vision-Language-Action (VLA) 모델이 직면한 High-Fidelity Trajectory Planning과 Efficient Inference 간의 상충 관계 문제를 해결하고자 합니다.#Review#Autonomous Driving#VLM#Block-Diffusion#Inference Efficiency#Trajectory Planning#Scaffold Speculative Decoding#Latency#Throughput2026년 5월 27일댓글 수 로딩 중
[sglang] run_eval에 latency 및 throughput 메트릭 추가평가 프레임워크에 completion token 기반 output throughput과 latency 메트릭을 추가하여 성능 추적 가능#SGLang#Evaluation#Metrics#Throughput2026년 4월 1일댓글 수 로딩 중
[논문리뷰] ECoLAD: Deployment-Oriented Evaluation for Automotive Time-Series Anomaly Detection기존의 Time-Series Anomaly Detection(TSAD) 연구들은 주로 workstation-class hardware에서 unconstrained execution 환경 하에 detection quality(주로 accuracy)만을 비교하고 최적화했습니다.#Review#Time-series anomaly detection#Deployment-oriented evaluation#Compute reduction#CPU parallelism#Throughput#Latency#Automotive telemetry#AUC-PR2026년 3월 15일댓글 수 로딩 중
[Ray] 파이프라인 최적 처리량 계산 유틸리티 함수 추가Ray Data에 파이프라인 연산자별 처리 속도와 리소스 제약을 기반으로 최적 처리량과 리소스 할당을 계산하는 유틸리티 함수를 추가한 PR 분석.#Ray#Ray Data#Resource Allocation#Pipeline Optimization#Throughput#Performance2026년 2월 27일댓글 수 로딩 중
[논문리뷰] SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs본 논문은 대규모 언어 모델(LLM)의 장문맥(long-context) 추론 시 발생하는 Key-Value (KV) 캐시 관련 문제를 해결하는 것을 목표로 합니다.#Review#LLMs#Long-context Reasoning#KV Cache Optimization#Speculative Sparsity#Knowledge Distillation#Adaptive Memory Management#Throughput2025년 12월 1일댓글 수 로딩 중