[논문리뷰] On the Design of Hyper-Connections: Simplification, Stability, and Scalability이 논문의 핵심 문제는 HC 계열 구조의 구성 요소가 충분히 이해되지 않았고 training overhead가 크다는 점입니다. 이를 해결하기 위해 저자들은 더 단순하면서도 품질과 안정성을 유지하는 HC 설계를 찾습니다.#Review#Hyper-Connections#Residual Connections#Mixture-of-Experts#Memory Access#Kernel Fusion#Training Stability#LLM Pretraining2026년 11월 12일댓글 수 로딩 중
[flashinfer] Cake 결정적 MoE Grouped GEMM: FP32 wgrad 누적을 커널에 fuse해 scratch를 없애고 최대 1.29x 가속scratch+add_ 두 단계를 커널 내 in-place 누적으로 합쳐 비트 동일성을 유지하며 wgrad를 최대 1.29배 단축#CUDA#MoE#GEMM#Deterministic Training#FlashInfer#Kernel Fusion#Blackwell2026년 11월 8일댓글 수 로딩 중
[flashinfer] FlashInfer CAKE VSA 커널 최적화: 중복 제거와 비효율적인 CuTe DSL 제거로 얻은 코드 효율성FlashInfer의 CAKE VSA 커널에서 중복 코드와 비효율적인 CuTe DSL을 제거하여 코드베이스를 최적화한 PR 분석.#FlashInfer#CUDA#Optimization#Refactoring#Sparse Attention#Kernel Fusion#Code Hygiene2026년 10월 18일댓글 수 로딩 중
[flashinfer] FlashInfer Kimi-K3 TP12 LatentMoE Tail 최적화: 8개 토큰까지 융합 및 FP64 게이팅 도입FlashInfer의 Kimi-K3 TP12 LatentMoE 연산에서 8개 토큰까지 융합하고 FP64 게이팅을 도입하여 성능과 정확도를 개선했습니다.#AI#Deep Learning#Optimization#FlashInfer#LLM#Kernel Fusion2026년 9월 29일댓글 수 로딩 중
[flashinfer] FlashInfer: Blackwell W8A8 AlphaMoE Expert 계산 커널 퓨전으로 성능 비약적 향상FlashInfer가 Blackwell GPU에 최적화된 W8A8 MoE Expert 계산 커널 퓨전으로 1.7배 이상 성능을 향상시켰습니다.#FlashInfer#MoE#Blackwell#W8A8#Kernel Fusion#CUDA#Optimization#GPU2026년 9월 13일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell(SM103a)을 위한 극한의 커널 퓨전: MiniMax-H3 BF16 Pre-attention 최적화 분석FlashInfer가 Blackwell 아키텍처의 TMA와 Tensor Map을 활용해 Pre-attention 연산을 어떻게 1.44배 가속했는지 분석합니다.#CUDA#Blackwell#FlashInfer#Kernel Fusion#Deep Learning#Performance Optimization2026년 9월 11일댓글 수 로딩 중
[sglang] SGLang, NVIDIA Blackwell GPU를 위한 Wan2.2 모델의 ML P 연산 최적화NVIDIA Blackwell GPU에서 Wan2.2 모델의 메모리 바운드 연산을 융합하여 성능을 개선합니다.#SGLang#NVIDIA Blackwell#GPU 최적화#MLP#Kernel Fusion#NVFP42026년 8월 30일댓글 수 로딩 중
[sglang] [DeepSeek-V4 최적화] SM120(Blackwell)에서 Fused MHC 커널 활성화로 성능 8.9% 향상시키기SM120 아키텍처에서 잘못된 플래그 게이팅을 수정하여 DeepSeek-V4의 Fused MHC 커널을 활성화하고 디코드 성능을 대폭 개선했습니다.#DeepSeek-V4#SM120#Blackwell#Kernel Fusion#SGLang#Performance2026년 7월 26일댓글 수 로딩 중
[sglang] SGLang MoE Shared Expert 최적화: 3개 커널을 1개로 융합하여 GPU 오버헤드 제거SGLang에서 MoE Shared Expert 처리 시 3개의 GPU 커널을 1개로 융합하여 성능을 개선했습니다.#SGLang#MoE#Kernel Fusion#Triton#GPU Optimization#AMD AITER2026년 7월 8일댓글 수 로딩 중
[sglang] DeepSeek-V4의 Latency 최적화: Fused mHC Post/Pre Kernel 도입DeepSeek-V4 모델의 추론 속도 향상을 위한 Fused mHC Post/Pre Kernel 도입 분석#AI#LLM#최적화#성능#DeepSeek-V4#sglang#Kernel Fusion2026년 5월 30일댓글 수 로딩 중
[sglang] sglang의 torch.compile 활용: Advanced Indexing Gather 최적화로 LLM 추론 가속화sglang에서 torch.compile을 사용하여 여러 Tensor gather 연산을 하나로 묶어 GPU 커널 오버헤드를 줄인 최적화 분석.#PyTorch#torch.compile#GPU Optimization#LLM Inference#Kernel Fusion#sglang2026년 5월 23일댓글 수 로딩 중
[sglang] Qwen3.5 및 Qwen3_Next 모델의 NPU 성능 향상을 위한 Triton 커널 퓨전 최적화NPU 환경에서 Qwen3.5 및 Qwen3_Next 모델의 어텐션 레이어 성능을 극대화하는 Triton 커널 퓨전 최적화 분석#NPU#Triton#Kernel Fusion#Optimization#Qwen3.5#Qwen3_Next#LLM2026년 5월 20일댓글 수 로딩 중
[sglang] SGLang 성능 최적화: FP8 모델을 위한 Inductor 컴파일러 경로 개선Inductor 컴파일러의 커널 퓨전 능력을 극대화하여 FP8 임베딩 성능을 24% 향상시킨 최적화 기법을 소개합니다.#SGLang#PyTorch Inductor#FP8#Kernel Fusion#LLM Optimization2026년 4월 14일댓글 수 로딩 중
[SGLang] torch.compile & Inductor: PyTorch 컴파일러 통합SGLang의 torch.compile 통합을 분석한다. PyTorch Inductor를 통한 커널 퓨전, Piecewise 컴파일 전략, 1.5x 성능 향상의 원리를 코드와 함께 살펴본다.#sglang#torch.compile#Inductor#Kernel Fusion#Compilation2026년 4월 11일댓글 수 로딩 중
[sglang] SGLang: ROCm 환경에서 Qwen3-VL 디코딩 성능 극대화를 위한 커널 퓨전 최적화4개의 개별 커널 호출을 단일 HIP 커널로 통합하여 Qwen3-VL 모델의 디코딩 지연 시간을 획기적으로 개선한 최적화 사례 분석.#SGLang#ROCm#Kernel Fusion#LLM#Performance Optimization2026년 4월 1일댓글 수 로딩 중
[SGLang] GDN의 kkt + solve_tril을 하나의 Triton 커널로 퓨전Gated Delta Network의 K@K^T 계산과 삼각 행렬 풀이를 단일 Triton 커널로 합쳐 HBM 왕복을 제거한다#SGLang#Triton#Kernel Fusion#Linear Attention2026년 3월 29일댓글 수 로딩 중
[sglang] Diffusion 모델용 Fused QKNorm+RoPE CUDA 커널 추가SGLang에 Diffusion 모델의 QKNorm과 RoPE를 하나의 CUDA 커널로 융합하여 메모리 접근을 절반으로 줄이는 warp-level 최적화 커널 분석.#SGLang#CUDA#Diffusion#RoPE#RMSNorm#Kernel Fusion#GPU Optimization2026년 3월 27일댓글 수 로딩 중
[sglang] MoE 모델 추론 최적화: Triton 커널 퓨전을 통한 TTFT 28% 개선MoE 모델 추론 시 `fused_moe_triton`과 `moe_sum_all_reduce` 커널 퓨전으로 TTFT를 28% 개선했습니다.#MoE#Triton#Kernel Fusion#GPU Optimization#LLM Inference#SGLang2026년 3월 4일댓글 수 로딩 중
[논문리뷰] Motif 2 12.7B technical report대규모 언어 모델(LLM)의 효율성 한계를 확장하고, 제한된 컴퓨팅 자원 내에서 Motif-2-12.7B 모델이 우수한 성능을 발휘할 수 있음을 입증하는 것을 목표로 합니다. 특히 아키텍처 혁신과 시스템 수준 최적화를 통해 대형 모델에 필적하는 능력을 소규모 파라미터로 구현하고자 합니다.#Review#Large Language Model#LLM Efficiency#Grouped Differential Attention#Kernel Fusion#Parallel Muon#Supervised Fine-tuning#Architectural Scaling#Instruction Following2025년 11월 12일댓글 수 로딩 중