[flashinfer] SM107에서 mm_mxfp8 autotuner가 CUTLASS·CuTe-DSL·cuDNN을 함께 경쟁시키도록 만들기SM107 auto 백엔드 후보를 넓혀 대형 prefill GEMM에서 최대 24% 단축, 아키텍처 게이트로 회귀 방지#FlashInfer#GEMM#MXFP8#Autotuning#cuDNN#CuTe-DSL#Blackwell2026년 11월 13일댓글 수 로딩 중
[ray] Ray Data의 sort().limit(k)를 Top-N 실행으로 바꾸기: 전체 셔플 없이 상위 k개만 고르는 법Sort+Limit을 LocalTopN과 점진적 병합으로 재작성해 range shuffle을 없애고 속도와 메모리를 개선#Ray Data#Top-N#PyArrow#Query Optimization#Distributed Systems2026년 11월 13일댓글 수 로딩 중
[sglang] EAGLE 트리 검증 어텐션 최적화: Triton 안정 압축과 FA4 고정 길이 쿼리 레이아웃트리 메타데이터를 Triton 커널 하나로 만들고 suffix를 조상 깊이로 잘라 FA4 TPS를 최대 3.4배 끌어올린 PR#SGLang#FlashAttention#Triton#Speculative Decoding#EAGLE#CUDA2026년 11월 13일댓글 수 로딩 중
[flashinfer] H100에서 D256 Paged Attention을 cuDNN으로 자동 디스패치하기: 실제 causal 작업량 기반 Admission 설계FA3가 선택된 H100 D256 paged prefill에서 실제 causal 작업량이 충분하면 cuDNN으로 전환해 약 1.26x 개선#FlashInfer#cuDNN#H100#Attention#CUDA Graph#Backend Dispatch2026년 11월 13일댓글 수 로딩 중
[onnxruntime] ONNX Runtime MoEPacked GGUF 오프로드 최적화: 3-Stage Prefill 파이프라인과 F16C·Batch-4 Cold DecodeH2D 더블버퍼링과 F16C 하드웨어 변환으로 TTFT를 최대 25.9% 줄이고 decode 속도를 최대 2.5배로 높였다#onnxruntime#CUDA#MoE#AVX2#F16C#GGUF#CUDA Streams#Performance2026년 11월 13일댓글 수 로딩 중
[transformers] DeepGEMM Mega MoE를 EP 구현체로 편입하기: 라우터 스타일을 버리고 슬라이스+all-gather로 최대 9배 빨라진 MoE 추론Mega MoE를 ep_dispatch_experts 플랜의 EP 구현체로 옮겨 버퍼 공유와 함께 최대 9.1x 가속#transformers#MoE#Expert Parallelism#DeepGEMM#CUDA Graph#Distributed2026년 11월 12일댓글 수 로딩 중
[sglang] ROCm aiter에서 Ring Attention 지원과 K/V 버퍼 재사용으로 MiniMax-H3 2-GPU 추론 11% 단축aiter가 softmax LSE를 반환해 ring 병합을 지원하고, ring K/V 버퍼 재사용으로 OOM을 해결#sglang#ROCm#aiter#Ring Attention#Diffusion#Sequence Parallelism2026년 11월 12일댓글 수 로딩 중
[onnxruntime] MoEPacked 멀티토큰 검증 최적화: CPU 콜드 라우트 Batch-2 AVX2와 GPU FC2 디코드 재설계투기적 디코딩 M=4/8 검증 단계를 CPU·GPU 양쪽에서 최대 33% 단축한 MoE 최적화 분석#onnxruntime#MoE#AVX2#CUDA#GGUF#speculative-decoding#quantization2026년 11월 12일댓글 수 로딩 중
[vllm] GLM MTP Draft에서 쓰지 않는 Post-Attention 행 건너뛰기: CUDA Graph 캡처 전 인덱스 바인딩으로 4.2% 처리량 향상MTP draft의 norm/MoE를 필요한 행에만 적용해 E2E throughput을 4.2% 끌어올린 PR 분석#vLLM#Speculative Decoding#MTP#CUDA Graph#MoE#Performance2026년 11월 12일댓글 수 로딩 중
[sglang] 하이브리드 모델의 Mamba 상태를 GreedyDual-Size로 축출하기: SGLang의 gds eviction policy 분석재구성 비용 기반 GDS로 recurrent state를 축출해 hybrid 모델의 캐시 적중률과 tail TTFT를 개선#SGLang#RadixCache#Mamba#CacheEviction#GreedyDual-Size#LLM Serving2026년 11월 12일댓글 수 로딩 중
[논문리뷰] WorldDraft: If Code Builds the World, Can Video Models Just Render It?요청하신 요약은 작성할 수 없었습니다. 논문 페이지를 열지 못했기 때문입니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] UniSpark: Exploring Hybrid Attention for Multimodal Understanding and Generation요청하신 요약은 작성하지 못했습니다. 논문 페이지를 불러올 수 없었습니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] Unbundling Multimodal Vision Encoding논문 페이지를 불러오지 못해 요약을 작성하지 못했습니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] TurtLES: A Large-Scale Benchmark for Turbulent 3D Neural PDE Surrogates요약을 작성하지 못했습니다. 논문 페이지에 접근할 수 없었습니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] The Value of Thinking: Learning When to Reason in Hybrid Decision Models요청하신 형식의 요약을 작성하지 못했습니다. 논문 페이지를 열 수 없었기 때문입니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] The Narrative Gap: Can LLMs Help Us Navigate Diverse Narratives Across Languages?요약을 작성하지 못했습니다. 논문 페이지(https://arxiv.org/html/2611.12750)를 열 수 없었기 때문입니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models논문을 가져오지 못해서 요약을 작성하지 않았습니다. 본문 없이 쓰면 저자 목록, 수치, Figure URL을 지어내게 되기 때문입니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] Structured Confidence Perturbation via Fisher Geometry for Adversarial Training논문 페이지를 가져오지 못해서 요청하신 요약은 작성하지 않았습니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One ModelsLichen Li이 arXiv에 게시한 'SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 12일댓글 수 로딩 중
[논문리뷰] Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors요약을 작성하지 못했습니다. 논문 페이지를 불러올 수 없었습니다.#Review2026년 11월 12일댓글 수 로딩 중