[flashinfer] FP8 Sage 블록 희소 어텐션 가속: SM100/SM103 Cake 커널, 결합 Quantize+Attention API, auto 백엔드아키텍처별 어텐션 빌드 선택, PDL, 호스트 오버헤드 제거로 eager 소형 shape 최대 3.8배 가속#FlashInfer#CUDA#FP8#SageAttention#Block-Sparse Attention#PDL#Blackwell2026년 11월 15일댓글 수 로딩 중
[flashinfer] 작은 shape를 위한 TMA-ring Sage-FP8 Quantizer: CUDA Graph에서 최대 1.23배 빨라진 SM100 Block-Sparse Attention작은 row에서 V cluster가 한 wave에 들어갈 때 TMA 기반 one-launch quantizer로 라우팅해 최대 23% 단축#FlashInfer#CUDA#TMA#FP8#Blackwell#CUDA Graph#Quantization2026년 11월 15일댓글 수 로딩 중
[sglang] SGLang Unified Memory 스케줄러의 Admission 호스트 작업 줄이기: 같은 질문은 한 번만 묻는다unified-memory admission의 중복 feasibility 계산을 memo와 조기 종료로 절반 줄인 PR 분석#SGLang#Memoization#Scheduler#KV Cache#Python#Performance2026년 11월 15일댓글 수 로딩 중
[sglang] 커널 내부를 들여다보는 법: SGLang JIT 커널에 IKET/%clock 기반 In-kernel 이벤트 트레이싱 도입warp 단위 range/mark로 커널 내부 시간 분포를 측정하는 디버깅 전용 트레이서 분석#CUDA#SGLang#Profiling#JIT#PTX#IKET2026년 11월 15일댓글 수 로딩 중
[sglang] gfx1250에서 RCCL을 넘어서다: ring_simple all-reduce와 unrolled 2shot_push 분석gfx1250 custom all-reduce에 ring과 unrolled 2shot_push를 더해 4GB까지 RCCL보다 빠르게#AMD#ROCm#all-reduce#GPU#sglang#distributed#HIP2026년 11월 15일댓글 수 로딩 중
[sglang] HMM GPU의 페이지 폴트 폭풍 피하기: prefill PLE 행을 호스트에서 모아 한 번에 전송하기파일 기반 PLE 테이블의 prefill gather를 호스트 staging + WILLNEED로 바꿔 TTFT를 57% 단축#sglang#CUDA#HMM#mmap#posix_fadvise#Performance#Triton2026년 11월 14일댓글 수 로딩 중
[sglang] Triton JIT 특수화 억제로 디코드 리플레이 첫 패스 컴파일 스톨 85% 줄이기 (SGLang GLM)bs를 constexpr에서 런타임 인자로 바꾸고 블록 하한을 둬 Triton 변형 수를 49→7로 줄인 사례#Triton#SGLang#JIT#CUDA Graph#LLM Inference#Mamba2026년 11월 14일댓글 수 로딩 중
[sglang] Hy-Nomas INT8 DiT의 groupwise dequantization을 Triton 커널 하나로 융합하기FP32 중간 텐서와 다중 launch를 단일 Triton 커널로 대체해 DiT denoising 19.4% 단축#SGLang#Triton#INT8#Quantization#Kernel Fusion#Diffusion2026년 11월 14일댓글 수 로딩 중
[sglang] CUDA IPC 핸들 하나를 여러 피어가 열면 생기는 일: SGLang diffusion all-to-all 메모리 누수 수정기IPC 핸들을 피어마다 따로 발급해 refcount가 0으로 돌아오게 만들어 요청당 2GB 누수를 해결#SGLang#CUDA IPC#Memory Leak#PyTorch#Distributed#Diffusion2026년 11월 14일댓글 수 로딩 중
[flashinfer] SM107에서 mm_mxfp8 autotuner가 CUTLASS·CuTe-DSL·cuDNN을 함께 경쟁시키도록 만들기SM107 auto 백엔드 후보를 넓혀 대형 prefill GEMM에서 최대 24% 단축, 아키텍처 게이트로 회귀 방지#FlashInfer#GEMM#MXFP8#Autotuning#cuDNN#CuTe-DSL#Blackwell2026년 11월 13일댓글 수 로딩 중
[ray] Ray Data의 sort().limit(k)를 Top-N 실행으로 바꾸기: 전체 셔플 없이 상위 k개만 고르는 법Sort+Limit을 LocalTopN과 점진적 병합으로 재작성해 range shuffle을 없애고 속도와 메모리를 개선#Ray Data#Top-N#PyArrow#Query Optimization#Distributed Systems2026년 11월 13일댓글 수 로딩 중
[sglang] EAGLE 트리 검증 어텐션 최적화: Triton 안정 압축과 FA4 고정 길이 쿼리 레이아웃트리 메타데이터를 Triton 커널 하나로 만들고 suffix를 조상 깊이로 잘라 FA4 TPS를 최대 3.4배 끌어올린 PR#SGLang#FlashAttention#Triton#Speculative Decoding#EAGLE#CUDA2026년 11월 13일댓글 수 로딩 중
[flashinfer] H100에서 D256 Paged Attention을 cuDNN으로 자동 디스패치하기: 실제 causal 작업량 기반 Admission 설계FA3가 선택된 H100 D256 paged prefill에서 실제 causal 작업량이 충분하면 cuDNN으로 전환해 약 1.26x 개선#FlashInfer#cuDNN#H100#Attention#CUDA Graph#Backend Dispatch2026년 11월 13일댓글 수 로딩 중
[onnxruntime] ONNX Runtime MoEPacked GGUF 오프로드 최적화: 3-Stage Prefill 파이프라인과 F16C·Batch-4 Cold DecodeH2D 더블버퍼링과 F16C 하드웨어 변환으로 TTFT를 최대 25.9% 줄이고 decode 속도를 최대 2.5배로 높였다#onnxruntime#CUDA#MoE#AVX2#F16C#GGUF#CUDA Streams#Performance2026년 11월 13일댓글 수 로딩 중
[transformers] DeepGEMM Mega MoE를 EP 구현체로 편입하기: 라우터 스타일을 버리고 슬라이스+all-gather로 최대 9배 빨라진 MoE 추론Mega MoE를 ep_dispatch_experts 플랜의 EP 구현체로 옮겨 버퍼 공유와 함께 최대 9.1x 가속#transformers#MoE#Expert Parallelism#DeepGEMM#CUDA Graph#Distributed2026년 11월 12일댓글 수 로딩 중
[sglang] ROCm aiter에서 Ring Attention 지원과 K/V 버퍼 재사용으로 MiniMax-H3 2-GPU 추론 11% 단축aiter가 softmax LSE를 반환해 ring 병합을 지원하고, ring K/V 버퍼 재사용으로 OOM을 해결#sglang#ROCm#aiter#Ring Attention#Diffusion#Sequence Parallelism2026년 11월 12일댓글 수 로딩 중
[onnxruntime] MoEPacked 멀티토큰 검증 최적화: CPU 콜드 라우트 Batch-2 AVX2와 GPU FC2 디코드 재설계투기적 디코딩 M=4/8 검증 단계를 CPU·GPU 양쪽에서 최대 33% 단축한 MoE 최적화 분석#onnxruntime#MoE#AVX2#CUDA#GGUF#speculative-decoding#quantization2026년 11월 12일댓글 수 로딩 중
[vllm] GLM MTP Draft에서 쓰지 않는 Post-Attention 행 건너뛰기: CUDA Graph 캡처 전 인덱스 바인딩으로 4.2% 처리량 향상MTP draft의 norm/MoE를 필요한 행에만 적용해 E2E throughput을 4.2% 끌어올린 PR 분석#vLLM#Speculative Decoding#MTP#CUDA Graph#MoE#Performance2026년 11월 12일댓글 수 로딩 중
[sglang] 하이브리드 모델의 Mamba 상태를 GreedyDual-Size로 축출하기: SGLang의 gds eviction policy 분석재구성 비용 기반 GDS로 recurrent state를 축출해 hybrid 모델의 캐시 적중률과 tail TTFT를 개선#SGLang#RadixCache#Mamba#CacheEviction#GreedyDual-Size#LLM Serving2026년 11월 12일댓글 수 로딩 중
[논문리뷰] WorldDraft: If Code Builds the World, Can Video Models Just Render It?요청하신 요약은 작성할 수 없었습니다. 논문 페이지를 열지 못했기 때문입니다.#Review2026년 11월 12일댓글 수 로딩 중