[vllm] [vLLM] GLM-5.3-Flash: 롱 컨텍스트 Prefill 성능을 32% 끌어올린 TP 쿼리 로우 샤딩 분석vLLM에서 중복 계산을 제거하고 통신 효율을 극대화하여 1M 컨텍스트 TTFT를 25% 단축시킨 쿼리 로우 샤딩 최적화 기법을 소개합니다.#vLLM#LLM Optimization#Tensor Parallelism#GLM-5.3-Flash#Deep Learning Performance2026년 10월 11일댓글 수 로딩 중
[논문리뷰] CoWindow Attention: Full Causal Coverage Is a Collective PropertyLong-context full attention (FullAttn)은 IO-efficient dense kernels을 사용함에도 불구하고 상당한 redundant computation 및 memory traffic을 발생시키며, 저자들은 이 문제를 해결하고자 한다.#Review#CoWindow Attention#Sparse Attention#Causal Coverage#Long-Context LLMs#Training Efficiency#Inference Latency#Tensor Parallelism2026년 9월 28일댓글 수 로딩 중
[vllm] [vLLM 분석] Speculative Decoding 성능 최적화: DSpark Markov Head 복제 전략TP 환경에서 작은 레이어의 샤딩으로 인한 통신 오버헤드를 제거하여 추론 속도를 최대 3.8% 향상시킨 기법을 살펴봅니다.#vLLM#Speculative Decoding#Tensor Parallelism#Performance Optimization#Deep Learning2026년 7월 29일댓글 수 로딩 중
[vllm] vLLM KV Offload 최적화: Tensor Parallelism 환경에서 MLA KV 캐시 복제본 제거하기vLLM에서 Tensor Parallelism 사용 시 MLA KV 캐시 복제본을 제거하여 CPU 메모리 및 D2H 트래픽을 최적화하는 방법을 분석합니다.#vLLM#KV Cache#Offloading#Tensor Parallelism#MLA#Optimization2026년 7월 26일댓글 수 로딩 중
[논문리뷰] GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding본 연구는 MLA가 특정 하드웨어(예: NVIDIA H100)의 연산-대역폭 비율에 지나치게 종속되어 있다는 문제를 해결합니다.#Review#Large Language Model#KV-cache#Multi-head Latent Attention#GQLA#Hardware-Adaptive#Roofline Model#Tensor Parallelism2026년 5월 17일댓글 수 로딩 중
[SGLang] TP Worker: GPU별 텐서 병렬 워커의 설계SGLang의 TP Worker를 분석한다. GPU별로 독립 실행되는 텐서 병렬 워커의 초기화, 모델 로딩, Forward 패스 위임, Scheduler와의 통신을 코드와 함께 살펴본다.#sglang#TP Worker#Tensor Parallelism#GPU Worker2026년 4월 11일댓글 수 로딩 중
[axolotl] Tensor Parallelism batch_size 계산 버그 수정: dp_world_size 기반으로 전환Tensor Parallelism 환경에서 batch_size와 total_num_steps가 잘못 계산되던 버그를 dp_world_size 기반으로 수정하고, 파라미터화된 테스트를 추가한 사례를 분석합니다.#Axolotl#Tensor Parallelism#Distributed Training#Bug Fix2026년 3월 20일댓글 수 로딩 중
[논문리뷰] Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers논문은 대규모 언어 모델(LLM) 훈련에서 Shampoo, Muon, SOAP 와 같은 행렬 기반 옵티마이저 의 효율성을 높이고자 합니다.#Review#Distributed Training#Matrix-based Optimizers#Load Balancing#Asynchronous Compute#Data Parallelism#Tensor Parallelism#ZeRO-1#LLMs2026년 2월 8일댓글 수 로딩 중
[논문리뷰] TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill & Decode Inference본 논문은 DeepSeek-V2 에서 도입된 Multi-Head Latent Attention (MLA) 이 Tensor Parallelism (TP) 환경에서 KV 캐시 메모리 절감 효과를 잃는 문제를 해결하고자 합니다.#Review#LLM Inference#Tensor Parallelism#KV Cache Optimization#Latent Attention#Memory Efficiency#Decoding Speedup#Prefill/Decode Separation#Reparameterization2025년 8월 25일댓글 수 로딩 중