[flashinfer] packed qkv에서 q/k를 복사 없이 바로 읽기: Cake GDN 결정적 학습 커널의 TMA stride 활용 최적화packed qkv의 head view를 TMA tensor map stride로 직접 읽어 GDN forward를 최대 1.20x 가속#CUDA#TMA#GatedDeltaNet#FlashInfer#Blackwell#MemoryOptimization2026년 11월 7일댓글 수 로딩 중
[vllm] 한 프로그램이 4개 head를 처리하게 하라: DeepSeek-V4 inverse RoPE + FP8 quant 커널 3.5배 가속기(token, head)당 1 warp 프로그램을 4-head 블록으로 묶고 RoPE를 레지스터에서 처리해 3.5배 가속#vLLM#Triton#GPU Kernel#DeepSeek-V4#FP8#RoPE#Performance2026년 11월 7일댓글 수 로딩 중
[vllm] MLA DCP 디코드에서 A2A 전에 W_UV 업프로젝션을 먼저 적용해 통신량 4배 줄이기LSE merge의 per-head 선형성을 이용해 A2A payload를 514→130 bf16/head로 축소#vLLM#MLA#Context Parallel#All-to-All#Performance#ROCm2026년 11월 7일댓글 수 로딩 중
[triton] Boolean 서브그룹 reduction을 warp vote와 ballot 한 번으로 끝내기: Triton NVIDIA 백엔드 최적화i1 AND/OR 부분 warp reduction을 shuffle 트리 대신 vote.sync와 ballot+lane mask로 대체#Triton#CUDA#PTX#GPU#Compiler#MLIR#Warp Reduction2026년 11월 7일댓글 수 로딩 중
[triton] Triton NVIDIA 백엔드: Boolean reduction을 세 개의 predicate chain으로 접어 74% 빨라진 이유any/all reduction을 3개 interleaved accumulator로 바꿔 ptxas가 ISETP.OR와 PLOP3로 융합하게 만든 최적화#Triton#NVIDIA#PTX#SASS#Compiler#GPU#MLIR2026년 11월 7일댓글 수 로딩 중
[cutlass] Blackwell FMHA 예제의 잠재 UB 두 가지 수정: warpgroup 단위 setmaxnreg와 TMEM 해제 전 tcgen05.wait::ldPTX 스펙을 위반하던 setmaxnreg 분기와 tcgen05.ld 미대기 해제를 바로잡은 정합성 수정#CUDA#CUTLASS#Blackwell#PTX#TMEM#FlashAttention2026년 11월 6일댓글 수 로딩 중
[sglang] Crash-dump 요청 히스토리를 pickle bytes로 보관해 cyclic GC 스캔에서 제외하기5분치 요청 히스토리를 bytes로 직렬화해 gen2 GC가 event loop를 멈추는 문제를 제거#Python#GC#pickle#sglang#performance#asyncio2026년 11월 6일댓글 수 로딩 중
[triton] Triton NVIDIA 백엔드: full-warp boolean reduction을 warp vote로 lowering하기i1 AND/OR reduction을 VOTE.ALL/ANY 한 명령으로 바꿔 OR 체인 지연을 26% 줄인 최적화#Triton#CUDA#NVVM#GPU#Compiler#Warp Reduction2026년 11월 6일댓글 수 로딩 중
[cutlass] Blackwell SSD 예제의 TMEM 4중 해제와 조기 해제 버그를 Named Barrier 하나로 고치기SM100 SSD 커널에서 TMEM이 4번, 그리고 마지막 읽기 전에 해제되던 문제를 named barrier로 해결#CUTLASS#Blackwell#SM100#TMEM#CUDA#Synchronization#PTX2026년 11월 6일댓글 수 로딩 중
[onnxruntime] 소비자 GPU에서 QMoE 오프로드 최적화: Windows WDDM 대응, Tail-Expert 가지치기, AVX2 INT2/INT3 커널 개선RTX 4090+30GiB RAM에서 MoE 오프로드를 개선한 ORT PR을 코드와 리뷰 논의로 분석합니다#onnxruntime#MoE#CUDA#AVX2#Quantization#Windows2026년 11월 6일댓글 수 로딩 중
[flashinfer] SM120 VSA 커널의 마지막 Partial Wave 패킹: 호스트 플래너만으로 평균 4.3% 가속Persistent 커널의 마지막 불완전 wave를 가상 CTA에 고르게 채워 tail effect를 줄인 호스트 플래너 최적화#FlashInfer#CUDA#Blackwell#Sparse Attention#Load Balancing#Scheduling2026년 11월 5일댓글 수 로딩 중
[flashinfer] 4-stage K/V ring에서 불필요해진 QK(t)→PV(t-1) 대기 제거: SM107 FP8 sparse MLA decode 최대 11% 가속2-stage ring용 순서 제약을 4-stage 커널에서 걷어내 QK·softmax·PV 직렬화를 해소한 사례#CUDA#Blackwell#FlashInfer#MLA#mbarrier#Pipeline2026년 11월 5일댓글 수 로딩 중
[flashinfer] Rubin(sm_107a)에서 DRAM 피크 95%까지: UMMA ReplaySSM u-cache flush 커널의 uGPU 로컬라이제이션과 6가지 튜닝Blackwell 커널이 Rubin에서 DRAM 52~57%에 그친 원인 6가지를 짚고 uGPU로 B200 대비 2.5배를 달성한 과정#CUDA#Rubin#GPU Kernel#FlashInfer#Green Context#Performance2026년 11월 5일댓글 수 로딩 중
[vllm] Rubin 텐서 코어로 LUT-B MoE 가중치를 직접 디코딩하기: MXFP8 활성화 기반 네이티브 커널과 에뮬레이션3-bit LUT 가중치를 텐서 코어가 직접 풀어내는 Rubin MoE 커널로 메모리를 56→16GiB 절감#vLLM#Quantization#MoE#CUDA#Rubin#MXFP82026년 11월 5일댓글 수 로딩 중
[sglang] EAGLE Speculative Decoding의 숨은 비용 제거: Vocab Shard Verify, Post-Verify CUDA Graph, 한 번의 Launch로 Draft 메타데이터 갱신작은 launch·gather·동기화를 걷어내 SGLang speculative decoding 처리량을 크게 끌어올린 PR 분석#SGLang#Speculative Decoding#EAGLE#CUDA Graph#Triton#Performance2026년 11월 5일댓글 수 로딩 중
[논문리뷰] WeLM-Image: A Unified Image Generation Model towards Visual Intelligence요약을 작성하지 못했습니다. 논문 페이지를 불러올 수 없었기 때문입니다.#Review2026년 11월 5일댓글 수 로딩 중
[논문리뷰] VisSearch-Bench: Evaluating Long Horizon Visual Search in Multimodal AgentsZhengXian Wu이 arXiv에 게시한 'VisSearch-Bench: Evaluating Long Horizon Visual Search in Multimodal Agents' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 5일댓글 수 로딩 중
[논문리뷰] VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding논문 페이지를 가져오지 못해서 요약을 작성하지 못했습니다.#Review2026년 11월 5일댓글 수 로딩 중
[논문리뷰] Towards Real-Time Full-Waveform LiDAR Transformers via Intensity-Guided Token Reduction and Physics-Aware Augmentation논문 본문을 불러오지 못해서 요청하신 요약은 작성할 수 없었습니다.#Review2026년 11월 5일댓글 수 로딩 중
[논문리뷰] Towards Foundation Decision Models: Drex요약을 작성하지 못했습니다. 논문 페이지를 불러올 수 없었기 때문입니다.#Review2026년 11월 5일댓글 수 로딩 중