#LLM Inference

10개의 포스트

[논문리뷰] LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding

arXiv에 게시된 'LK Losses: Direct Acceptance Rate Optimization for Speculative Decoding' 논문에 대한 자세한 리뷰입니다.

2026년 3월 1일

[논문리뷰] DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference

arXiv에 게시된 'DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference' 논문에 대한 자세한 리뷰입니다.

2026년 2월 25일

[논문리뷰] TimeBill: Time-Budgeted Inference for Large Language Models

Yehan Ma이 arXiv에 게시한 'TimeBill: Time-Budgeted Inference for Large Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 12월 28일

[논문리뷰] Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

arXiv에 게시된 'Intelligence per Watt: Measuring Intelligence Efficiency of Local AI' 논문에 대한 자세한 리뷰입니다.

2025년 11월 11일

[논문리뷰] AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders

arXiv에 게시된 'AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders' 논문에 대한 자세한 리뷰입니다.

2025년 10월 24일

[논문리뷰] Direct Multi-Token Decoding

Xifeng Yan이 arXiv에 게시한 'Direct Multi-Token Decoding' 논문에 대한 자세한 리뷰입니다.

2025년 10월 16일

[논문리뷰] PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits

Zhenhao Chen이 arXiv에 게시한 'PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits' 논문에 대한 자세한 리뷰입니다.

2025년 9월 16일

[논문리뷰] Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference

Chunlei Han이 arXiv에 게시한 'Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference' 논문에 대한 자세한 리뷰입니다.

2025년 8월 28일

[논문리뷰] TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill & Decode Inference

Di Yin이 arXiv에 게시한 'TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill & Decode Inference' 논문에 대한 자세한 리뷰입니다.

2025년 8월 25일

[논문리뷰] Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference

Fan Xia이 arXiv에 게시한 'Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference' 논문에 대한 자세한 리뷰입니다.

2025년 8월 6일