[flashinfer] FlashInfer의 MXFP4 SiTU MoE 성능 최적화: Cluster Split-K와 CuTe DSL 개선FlashInfer의 Kimi-K3 MXFP4 MoE 백엔드에서 Cluster Split-K 및 스케줄링 최적화를 통해 성능을 최대 2.1% 향상시킨 사례를 분석합니다.#FlashInfer#MoE#CUDA#CuTe#GEMM#MXFP42026년 10월 17일댓글 수 로딩 중
[cpython] Python CPython: 함수 이름 속성 설정 시 Stop-the-World 방지로 멀티스레딩 성능 대폭 개선Python CPython에서 함수 이름 관련 속성 변경 시 발생하는 Stop-the-World를 제거하여 멀티스레딩 성능을 획기적으로 개선한 PR을 분석합니다.#Python#CPython#Performance#Multithreading#Optimization#GIL2026년 10월 17일댓글 수 로딩 중
[flashinfer] FlashInfer의 새로운 실험적 기능: NVFP4 기반 MLA 디코드 최적화Blackwell 아키텍처를 위한 NVFP4 paged latent cache 기반의 고성능 MLA 디코드 구현 및 최적화 분석.#FlashInfer#CUDA#MLA#NVFP4#Blackwell#LLM2026년 10월 17일댓글 수 로딩 중
[vllm] [vLLM] ROCm 환경에서 MXFP4 GEMM 커널 최적화: 환경 변수에서 동적 설정으로vLLM이 ROCm 환경에서 MXFP4 양자화 모델의 성능을 극대화하기 위해, 환경 변수 대신 AITER 튜닝 설정을 기반으로 최적의 커널을 동적으로 선택하도록 개선되었습니다.#vLLM#ROCm#MXFP4#Performance Optimization#AITER#LLM Serving2026년 10월 17일댓글 수 로딩 중
[vllm] vLLM FlashInfer Allreduce 최적화: 단일 노드 성능 회복과 안정성 확보vLLM에서 FlashInfer Allreduce 백엔드 선택 로직을 개선하여 단일 노드 성능을 회복한 PR 분석.#vLLM#FlashInfer#Allreduce#성능 최적화#분산 학습#GPU2026년 10월 17일댓글 수 로딩 중
[flashinfer] FlashInfer, Blackwell GPU를 위한 최적화된 Dense Projection GEMM 도입FlashInfer의 최신 PR은 Blackwell GPU 아키텍처에 최적화된 Dense Projection GEMM을 도입하여 성능을 크게 향상시킵니다.#FlashInfer#GEMM#Blackwell#GPU 최적화#딥러닝2026년 10월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU: AMD GPU를 위한 Subgroup Matrix MatMulNBits 최적화AMD D3D12 환경에서 wave64 기반의 유연한 타일링 전략을 도입하여 MatMulNBits 성능을 최대 11% 향상시켰습니다.#WebGPU#ONNX Runtime#GPU Optimization#AMD#MatMul2026년 10월 16일댓글 수 로딩 중
[flashinfer] FlashInfer, Muse-Spark-Open을 위한 융합 정규화 및 TP/EP MoE 최적화로 성능 극대화FlashInfer가 Muse-Spark-Open 모델을 위해 융합 정규화 및 TP/EP MoE 커널을 도입하여 성능을 크게 향상시킨 방법을 분석합니다.#FlashInfer#최적화#딥러닝#GPU#MoE#정규화2026년 10월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA QMoE 및 FP8 최적화: 성능 향상 및 메모리 효율성 증대ONNX Runtime CUDA에서 NVFP4 가중치 레이아웃 및 블록 스케일 FP8 실행을 최적화하여 대규모 MoE 모델의 성능과 메모리 효율성을 개선했습니다.#ONNX Runtime#CUDA#Optimization#FP8#MoE#QMoE#NVFP4#Performance2026년 10월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA Packed Sparse Attention 최적화: 성능 향상의 비결ONNX Runtime CUDA Packed Sparse Attention의 성능을 획기적으로 개선한 최적화 PR 분석#ONNX Runtime#CUDA#Sparse Attention#Optimization#Performance2026년 10월 16일댓글 수 로딩 중
[flashinfer] FlashInfer, NVIDIA 최신 GPU를 위한 AlphaMoE NVFP4 커널 최적화로 성능 대폭 향상FlashInfer의 최신 PR은 NVIDIA B200 및 GB300 GPU에서 AlphaMoE NVFP4 연산 속도를 크게 향상시켜 SOTA 성능을 달성했습니다.#AI#GPU#최적화#성능#FlashInfer#AlphaMoE#NVFP4#NVIDIA2026년 10월 15일댓글 수 로딩 중
[flashinfer] FlashInfer AlphaMoE W8A8 커널 최적화: (M, K) 기반 동적 커널 디스패치NVIDIA B200/GB300에서 W8A8 MoE 커널의 파이프라인 깊이와 CTA 설정을 (M, K)에 따라 최적화하여 성능을 극대화했습니다.#FlashInfer#MoE#CUDA#KernelOptimization#FP82026년 10월 15일댓글 수 로딩 중
[flashinfer] Kimi K3를 위한 초고속 통신 최적화: FlashInfer의 Blackwell MNNVL CuTe DSL 프로파일링 분석FlashInfer가 Kimi K3 모델(H7168)을 위해 Blackwell NVLink 환경에서 All-Reduce와 MoE Fusion을 최적화한 방법을 분석합니다.#FlashInfer#Blackwell#NVLink#CUDA#MoE#Optimization2026년 10월 15일댓글 수 로딩 중
[vllm] AMD ROCm GFX11 GPU의 L2 캐시 충돌을 피하기 위한 GEMM 가중치 행 스트라이드 최적화AMD ROCm GFX11 GPU에서 GEMM 연산 시 L2 캐시 충돌 문제를 해결하여 성능을 개선하는 코드 최적화 분석.#vllm#ROCm#AMD#GFX11#GEMM#최적화#성능2026년 10월 15일댓글 수 로딩 중
[vllm] vLLM의 Mamba 블록 테이블 가더(Gather) 최적화: 7개 커널을 1개로 통합하여 6배 속도 향상Mamba 모델의 블록 테이블 정렬 연산을 7개의 커널 호출에서 1개의 Triton 커널로 통합하여 오버헤드를 획기적으로 줄였습니다.#vLLM#Triton#Kernel Optimization#Mamba#Performance2026년 10월 15일댓글 수 로딩 중
[논문리뷰] WorldCast: Exploring Intelligent Visual Generation in World State Prediction본 논문은 Multimodal Generative Systems의 World State Prediction capabilities에 대한 체계적인 탐색이 부족하다는 문제 의식을 제기한다.#Review2026년 10월 15일댓글 수 로딩 중
[논문리뷰] Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy DistillationReinforcement Learning (RL)은 인간 선호도 또는 검증 가능한 보상(verifiable rewards)을 사용하여 언어 모델의 지시 따르기(instruction following) 및 수학/코드 추론(mathematical and code reasoning) 능력을 향상시킬 수 있습니다.#Review#On-Policy Distillation#Reinforcement Learning#Policy Shift#Knowledge Distillation#Waypoint Checkpoint#Gating Mechanism#Mathematical Reasoning#Code Reasoning2026년 10월 15일댓글 수 로딩 중
[논문리뷰] Virtual Head Attention본 논문은 대규모 언어 모델의 어텐션 메커니즘 설계 시 직면하는 KV cache 크기, 학습/프리필 FLOPs, 모델 품질 간의 '불가능한 삼각형(impossible triangle)' 문제를 해결하고자 합니다 .#Review#Virtual Head Attention#Grouped-Query Attention#KV Cache#Reparameterization#Large Language Models#Linear Postmix#Q Premix2026년 10월 15일댓글 수 로딩 중
[논문리뷰] VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models본 논문은 기존 Vision-Language-Action (VLA) 모델들이 물리적 역학(physical dynamics)에 대한 제한적인 이해로 인해 실패하는 문제를 해결하고자 합니다.#Review#Vision-Language-Action Models#Physical State Transition#Multilevel Supervision#Robot Learning#Continuous Control#Data Annotation#Embodied Intelligence2026년 10월 15일댓글 수 로딩 중
[논문리뷰] Speculative Forcing for Efficient Autoregressive Video Generation본 논문은 few-step autoregressive video generators의 비효율성을 해결하기 위해 Speculative Forcing을 제안한다.#Review#Autoregressive Video Generation#Speculative Decoding#Diffusion Models#Computational Efficiency#Token-wise Commitment#Deep Learning2026년 10월 15일댓글 수 로딩 중