[flashinfer] FlashInfer MoE 커널 최적화: 코드 중복 제거 및 JIT 컴파일 효율성 증대FlashInfer의 MoE 커널에서 코드 중복을 제거하고 JIT 컴파일 효율성을 높인 PR 분석#FlashInfer#MoE#Kernel Optimization#JIT Compilation#Code Refactoring#Performance2026년 10월 20일댓글 수 로딩 중
[vllm] vLLM의 MoE 튜닝 스크립트 최적화: RDNA 아키텍처를 위한 성능 개선RDNA 아키텍처에서 MoE 튜닝 속도를 개선하고, 불필요한 탐색 공간 제거 및 안정성을 확보한 최적화 사례를 분석합니다.#vLLM#ROCm#Triton#MoE#Performance2026년 10월 20일댓글 수 로딩 중
[flashinfer] FlashInfer MoE 라우팅 최적화: 더 똑똑해진 전문가 선택으로 성능 향상FlashInfer의 MoE 라우팅 로직을 개선하여 전문가 선택 규칙을 최적화하고 성능을 향상시켰습니다.#AI#Machine Learning#Optimization#MoE#FlashInfer#Performance2026년 10월 19일댓글 수 로딩 중
[flashinfer] FlashInfer: Cake Warp-Decode 커널의 'Deslop'을 통한 호스트 오버헤드 최적화 및 코드 정제FlashInfer의 Cake 커널에서 불필요한 1MB JSON, 미사용 FFI, 호스트 측 중복 호출을 제거하여 성능과 유지보수성을 개선한 사례를 분석합니다.#CUDA#FlashInfer#MoE#Optimization#PyTorch2026년 10월 18일댓글 수 로딩 중
[flashinfer] FlashInfer의 MXFP4 SiTU MoE 성능 최적화: Cluster Split-K와 CuTe DSL 개선FlashInfer의 Kimi-K3 MXFP4 MoE 백엔드에서 Cluster Split-K 및 스케줄링 최적화를 통해 성능을 최대 2.1% 향상시킨 사례를 분석합니다.#FlashInfer#MoE#CUDA#CuTe#GEMM#MXFP42026년 10월 17일댓글 수 로딩 중
[flashinfer] FlashInfer, Muse-Spark-Open을 위한 융합 정규화 및 TP/EP MoE 최적화로 성능 극대화FlashInfer가 Muse-Spark-Open 모델을 위해 융합 정규화 및 TP/EP MoE 커널을 도입하여 성능을 크게 향상시킨 방법을 분석합니다.#FlashInfer#최적화#딥러닝#GPU#MoE#정규화2026년 10월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA QMoE 및 FP8 최적화: 성능 향상 및 메모리 효율성 증대ONNX Runtime CUDA에서 NVFP4 가중치 레이아웃 및 블록 스케일 FP8 실행을 최적화하여 대규모 MoE 모델의 성능과 메모리 효율성을 개선했습니다.#ONNX Runtime#CUDA#Optimization#FP8#MoE#QMoE#NVFP4#Performance2026년 10월 16일댓글 수 로딩 중
[flashinfer] FlashInfer AlphaMoE W8A8 커널 최적화: (M, K) 기반 동적 커널 디스패치NVIDIA B200/GB300에서 W8A8 MoE 커널의 파이프라인 깊이와 CTA 설정을 (M, K)에 따라 최적화하여 성능을 극대화했습니다.#FlashInfer#MoE#CUDA#KernelOptimization#FP82026년 10월 15일댓글 수 로딩 중
[flashinfer] Kimi K3를 위한 초고속 통신 최적화: FlashInfer의 Blackwell MNNVL CuTe DSL 프로파일링 분석FlashInfer가 Kimi K3 모델(H7168)을 위해 Blackwell NVLink 환경에서 All-Reduce와 MoE Fusion을 최적화한 방법을 분석합니다.#FlashInfer#Blackwell#NVLink#CUDA#MoE#Optimization2026년 10월 15일댓글 수 로딩 중
[flashinfer] [FlashInfer] Device-side Gating을 통한 MoE GEMM2 경로 최적화: Kimi-K3 모델 성능 개선 사례MoE의 GEMM2 경로 선택 로직을 호스트에서 디바이스로 이동시켜, 롱 프리필 상황에서 최대 9.5%의 성능 향상을 달성한 최적화 기법을 분석합니다.#FlashInfer#MoE#CUDA#Optimization#LLM Inference#Kimi-K32026년 10월 13일댓글 수 로딩 중
[vllm] [vLLM 성능 최적화] MoE 레이어의 불필요한 메모리 복사를 제거하는 Humming 최적화 분석MoE 모델의 w13 GEMM 연산 전, 조건에 따라 불필요한 입력 데이터 복사를 생략하여 메모리 대역폭을 절약하고 추론 성능을 개선한 사례를 살펴봅니다.#vLLM#MoE#Performance#Optimization#CUDA#LLM2026년 10월 12일댓글 수 로딩 중
[논문리뷰] Multi-Stream Attention ResidualsTransformer 기반 LLM에서 depth를 확장하는 것은 성능 향상을 위한 주요 요소였지만, 최신 PreNorm 아키텍처에서는 layer를 추가해도 기대만큼의 이득을 얻지 못하는 경우가 발생합니다.#Review#Multi-Stream Attention Residuals#Depth Attention#Large Language Models#Residual Connections#Pre-training#Scaling Laws#MoE2026년 10월 12일댓글 수 로딩 중
[논문리뷰] One Model to Loop Them All: Elastic Latent Recurrence for Language Models본 연구는 고정된 크기의 체크포인트로 다양한 추론 컴퓨팅 자원을 활용하고자 하는 Latent Recurrent 모델들이 직면한 One-loop tax 문제를 해결합니다.#Review#Elastic Latent Recurrence#Large Language Models#Recurrent Depth#Inference Compute#Mixed-Depth Training#MoE2026년 10월 11일댓글 수 로딩 중
[논문리뷰] TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models본 논문은 RL 기반 LLM 학습 시 발생하는 비용 문제를 해결하기 위해 도입된 FP4 rollout 기법이, 학습-추론 경로 간의 심각한 수치적 불일치로 인해 오히려 정책 불일치와 학습 불안정을 초래한다는 점을 지적합니다.#Review#Reinforcement Learning#MoE#FP4 Quantization#Quantization-Aware Training#Numerical Discrepancy#Rollout-Guided2026년 10월 6일댓글 수 로딩 중
[flashinfer] [FlashInfer] Hopper SM90을 위한 MegaMoE 최적화: Combine Wire 및 GEMM 에필로그 개선FlashInfer의 Hopper 전용 BF16 MegaMoE 백엔드에서 통신 대역폭을 줄이는 prereduced combine 방식과 GEMM 에필로그 최적화 기법을 분석합니다.#FlashInfer#MoE#CUDA#Hopper#SM90#Optimization2026년 10월 5일댓글 수 로딩 중
[flashinfer] FlashInfer MoE 성능 최적화: CuTe DSL을 활용한 Deterministic Finalize 개선기FlashInfer의 MoE W4A4/W4A16 unfused finalize 과정을 CuTe DSL 커널로 교체하고 PDL 스케줄링을 최적화하여 성능을 최대 11% 향상시킨 사례를 분석합니다.#FlashInfer#MoE#CUDA#CuTe-DSL#Performance-Optimization2026년 10월 2일댓글 수 로딩 중
[flashinfer] FlashInfer, cuDNN Frost MoE 디코딩 최적화: 성능 향상과 코드 개선 분석FlashInfer의 cuDNN Frost MoE 디코딩 최적화 PR 분석: 코드 변경사항, 성능 개선점, 그리고 기술적 교훈#FlashInfer#MoE#최적화#CUDA#딥러닝2026년 9월 28일댓글 수 로딩 중
[flashinfer] FlashInfer Kimi-K3 Fused MoE Router 최적화: Warp-per-row 전략 도입대규모 MoE 라우팅 성능 향상을 위해 Warp-per-row 선택 전략과 Dual-expert 정렬 최적화를 도입하여 B200/GB300에서 최대 1.8배 성능을 개선했습니다.#FlashInfer#MoE#CUDA#GPU Optimization#Performance2026년 9월 26일댓글 수 로딩 중
[vllm] [ROCm 성능 최적화] vLLM의 Fused Shared-Expert Gate GEMM 경로 개선 분석ROCm 환경에서 Fused Shared-Expert의 Gate 연산을 전용 디스패처로 라우팅하여 GEMM 성능을 약 2배 개선하고 AITER 튜닝 경로를 확보한 사례를 분석합니다.#vLLM#ROCm#MoE#Performance#GEMM#AMD2026년 9월 21일댓글 수 로딩 중
[sglang] H200 GPU에서 GLM-5.2 MoE를 위한 W4A8 GEMM 커널 최적화 분석SGLang에서 H200 GPU를 위한 GLM-5.2 MoE 모델의 W4A8 GEMM 커널을 최적화하여 최대 1.23배의 속도 향상을 달성한 PR 분석.#SGLang#GPU 최적화#CUTLASS#MoE#W4A8#H200#GLM-5.2#성능 튜닝#CUDA2026년 9월 19일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 성능 최적화: mHC 및 메타데이터 오버헤드 개선 분석DeepSeek-V4.1의 MoE 및 추론 파이프라인에서 mHC, 메타데이터, 라우터 오버헤드를 최적화하여 5% 이상의 처리량 향상을 달성했습니다.#DeepSeek-V4#SGLang#GPU Optimization#CUDA#MoE2026년 9월 19일댓글 수 로딩 중
[onnxruntime] ONNX Runtime MoE 최적화: QMoE CPU GEMM 성능 대폭 향상ONNX Runtime에서 MoE 모델의 CPU 추론 성능을 획기적으로 개선하는 최적화 기법을 소개합니다.#ONNX Runtime#MoE#CPU 최적화#GEMM#양자화2026년 9월 17일댓글 수 로딩 중
[flashinfer] Blackwell 아키텍처를 위한 MoE All-Reduce Fusion 최적화: FlashInfer의 'Cake' 백엔드 분석Blackwell(SM100/103) 환경에서 MoE All-Reduce와 RMSNorm을 융합하여 1.12배 성능 향상을 달성한 FlashInfer의 새로운 최적화 기법을 살펴봅니다.#NVIDIA Blackwell#MoE#All-Reduce#CUDA#FlashInfer#Performance Optimization2026년 9월 16일댓글 수 로딩 중
[vllm] [vLLM 성능 최적화] Nemotron-3 디코딩 속도를 13% 향상시킨 Latent-MoE All-Reduce 최적화 분석Nemotron-3 모델의 TP 환경에서 불필요한 All-Reduce를 제거하여 디코딩 성능을 13% 복구한 최적화 기법을 살펴봅니다.#vLLM#Nemotron#Performance#All-Reduce#MoE#Tensor-Parallelism2026년 9월 15일댓글 수 로딩 중
[Liger-Kernel] Liger-Kernel: SM90 MoE 통신 최적화 및 안정성 개선SM90 아키텍처에서 MoE 통신을 로컬/인터호스트로 분리 최적화하고, 백워드 동기화 행 문제를 해결하여 성능을 극대화했습니다.#Liger-Kernel#MoE#SM90#CUDA#NVSHMEM#Performance2026년 9월 14일댓글 수 로딩 중
[논문리뷰] Expert-Space Exploration in MoE Reinforcement Learning본 논문은 기존의 LLM post-training 연구가 token-level의 sampling에만 집중하고, MoE 모델의 핵심인 expert routing의 다양성 활용에는 소홀했다는 점을 지적하며 ESRL을 제안합니다.#Review#MoE#Reinforcement Learning#Expert Routing#Exploration#Rollout Routing Replay2026년 9월 14일댓글 수 로딩 중
[flashinfer] FlashInfer: Blackwell W8A8 AlphaMoE Expert 계산 커널 퓨전으로 성능 비약적 향상FlashInfer가 Blackwell GPU에 최적화된 W8A8 MoE Expert 계산 커널 퓨전으로 1.7배 이상 성능을 향상시켰습니다.#FlashInfer#MoE#Blackwell#W8A8#Kernel Fusion#CUDA#Optimization#GPU2026년 9월 13일댓글 수 로딩 중
[flashinfer] FlashInfer의 GEMM 성능 혁신: cuTile 백엔드 도입과 최적화 여정FlashInfer가 cuTile 백엔드를 도입하여 GEMM 성능을 극대화하고 견고성을 강화한 과정을 분석합니다.#FlashInfer#GEMM#cuTile#CUDA#성능 최적화#FP8#MoE#GPU 프로그래밍2026년 9월 11일댓글 수 로딩 중
[flashinfer] NVFP4 MoE All-to-All 성능 최적화: Phased Dispatch 기법 분석FlashInfer에서 NVFP4 레이아웃의 비대칭 페이로드를 효율적으로 처리하기 위해 도입된 Phased Dispatch 기법과 그 성능 향상 효과를 살펴봅니다.#CUDA#MoE#FlashInfer#Performance Optimization#NVFP4#GPU2026년 9월 8일댓글 수 로딩 중
[sglang] H200 NVL에서 Qwen3.8-Flash-Next FP8 성능 극대화하기: Fused MoE Triton 설정 최적화NVIDIA H200 NVL 환경에서 Qwen MoE 모델의 추론 속도를 최대 23% 향상시킨 Triton 커널 튜닝 사례를 분석합니다.#LLM#Triton#MoE#H200#FP8#SGLang#Performance-Tuning2026년 9월 7일댓글 수 로딩 중
[flashinfer] FlashInfer에 cuTile 기반 Fused MoE 백엔드 도입: 성능과 유지보수성의 균형FlashInfer의 Unified MoE API에 cuTile 백엔드를 추가하여 BF16 및 NVFP4 환경에서 최적화된 MoE 추론을 지원합니다.#FlashInfer#MoE#CUDA#Optimization#LLM2026년 9월 1일댓글 수 로딩 중
[flashinfer] FlashInfer SM12x MoE 최적화: 정적 MoE 경로 통합 및 성능 향상FlashInfer의 SM12x 아키텍처에서 정적 MoE 경로를 최적화하고 통합하여 성능을 크게 향상시킨 PR 분석#FlashInfer#MoE#최적화#성능#CUDA#딥러닝2026년 8월 31일댓글 수 로딩 중
[flashinfer] FlashInfer: Blackwell 아키텍처를 위한 결정론적 BGMV MoE 최적화NVIDIA Blackwell(SM100) GPU 전용으로 생성된 커널을 통해 BGMV MoE 파이프라인 성능을 최대 4배 이상 향상시켰습니다.#FlashInfer#CUDA#Blackwell#MoE#Performance2026년 8월 30일댓글 수 로딩 중
[vllm] vLLM의 ROCm 환경에서 듀얼 스트림 디코드를 통한 성능 최적화ROCm 환경에서 듀얼 스트림 디코드를 최적화하여 모델 추론 성능을 향상시키고 특정 모델의 정확도 문제를 해결합니다.#vLLM#ROCm#성능 최적화#듀얼 스트림 디코드#MoE2026년 8월 30일댓글 수 로딩 중
[vllm] vLLM, CUDA 네이티브 SwiGLU 커널 도입으로 Humming MoE 성능 1.4% 향상vLLM이 Humming MoE에서 CUDA 네이티브 SwiGLU 커널을 사용하여 처리량을 1.4% 개선했습니다.#vLLM#성능 최적화#CUDA#MoE#SwiGLU2026년 8월 27일댓글 수 로딩 중
[vllm] vLLM MoE 성능 최적화: flashinfer_nvlink_one_sided 도입vLLM의 MoE 통신 백엔드를 flashinfer_nvlink_one_sided로 기본 설정하여 처리량(Throughput)을 최대 8% 향상시켰습니다.#vLLM#MoE#FlashInfer#NVLink#Performance2026년 8월 26일댓글 수 로딩 중
[flashinfer] Blackwell 아키텍처를 위한 MXFP8/MXFP4 기반 고성능 MoE 추론 최적화FlashInfer의 SM100 W4A8 백엔드 추가로 MXFP8/MXFP4 혼합 정밀도 추론 성능 및 통신 효율 대폭 개선#FlashInfer#MoE#Blackwell#MXFP8#CuTeDSL#LLM2026년 8월 20일댓글 수 로딩 중
[flashinfer] DeepSeek-V3 라우팅의 혁신: FlashInfer의 Cake 백엔드 가속 분석Blackwell 아키텍처에서 DeepSeek MoE 라우팅 성능을 최대 1.55배 끌어올린 Cake 백엔드의 PTX 최적화 기법을 살펴봅니다.#CUDA#DeepSeek#MoE#FlashInfer#Blackwell#Performance2026년 8월 20일댓글 수 로딩 중
[논문리뷰] FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution본 논문은 데이터센터 인프라가 아닌 개인용 엣지 기기에서 Frontier-scale MoE 모델을 효율적으로 서비스하기 위한 최적화 기법을 연구합니다.#Review#Edge-Native Inference#MoE#Bandwidth-Adaptive Execution#Agentic Workloads#Resource Management#Memory Hierarchy2026년 8월 18일댓글 수 로딩 중
[sglang] SGLang의 MoE Top-K Softmax 커널: AOT에서 JIT로의 효율적인 전환SGLang의 moe_topk_softmax 커널을 AOT에서 JIT 방식으로 전환하여 휠 사이즈를 줄이고 유연성을 확보한 최적화 사례를 분석합니다.#SGLang#CUDA#JIT#MoE#Optimization2026년 8월 16일댓글 수 로딩 중
[sglang] [MoE] SwiGLU 퓨전: Triton 커널 최적화로 메모리 대역폭 한계 돌파하기MoE 레이어의 up-GEMM과 활성화 함수를 하나로 합쳐 메모리 오버헤드를 줄이고 추론 속도를 개선한 기법을 분석합니다.#MoE#Triton#CUDA#LLM Optimization#SGLang2026년 8월 14일댓글 수 로딩 중
[flashinfer] FlashInfer SM120 MoE GEMM 최적화: 웨이브+잔여물 비용 모델 도입FlashInfer의 SM120 MoE GEMM 성능을 향상시키는 웨이브+잔여물 비용 모델 도입 및 타일 선택 개선.#AI#딥러닝#최적화#GPU#FlashInfer#MoE#GEMM#FP8#SM1202026년 8월 12일댓글 수 로딩 중
[flashinfer] [FlashInfer] CUTLASS MoE 커널 최적화: 벡터화와 동적 스레드 할당으로 성능 한계 돌파하기FlashInfer의 CUTLASS MoE 커널을 벡터화하고 스레드 점유율을 최적화하여 최대 8%의 성능 향상을 달성한 기법을 분석합니다.#CUDA#MoE#FlashInfer#CUTLASS#Optimization#LLM2026년 8월 11일댓글 수 로딩 중
[flashinfer] FlashInfer: SM120/SM121 아키텍처를 위한 네이티브 MXFP4 W4A4 Fused MoE 지원Blackwell 아키텍처(SM120)에서 MXFP4 데이터 형식을 활용해 Fused MoE 연산 성능을 최적화하고 처리량을 개선했습니다.#FlashInfer#MoE#MXFP4#Blackwell#CUDA#Optimization2026년 8월 10일댓글 수 로딩 중
[vllm] [vLLM] CPU MoE 성능을 극대화하는 전략: 고정 임계값을 넘어선 동적 GEMM 디스패치 최적화vLLM의 CPU FP8/MXFP4 MoE 커널에서 전역 평균 기반의 GEMM 선택 로직을 제거하고, 개별 전문가 블록 단위로 BRGEMM을 동적 선택하여 최대 1.59배의 성능 향상을 달성했습니다.#vLLM#CPU Optimization#MoE#FP8#BRGEMM#Deep Learning2026년 8월 8일댓글 수 로딩 중
[flashinfer] FlashInfer, Blackwell GPU를 위한 Gated MoE 커널 최적화로 성능 대폭 향상Blackwell GPU의 Gated Mixture-of-Experts(MoE) 연산 성능을 극대화하는 최적화 기법을 분석합니다.#FlashInfer#MoE#GPU 최적화#Blackwell#NVFP42026년 8월 7일댓글 수 로딩 중
[onnxruntime] [CUDA] NVFP4 QMoE GEMV 최적화: ALU 바운드 커널의 한계를 넘어서는 방법NVFP4 양자화 디코딩 속도를 30% 이상 개선하고, MTP 검증 성능을 20배 이상 끌어올린 ONNX Runtime의 최적화 기법을 분석합니다.#CUDA#ONNXRuntime#LLM#Optimization#NVFP4#MoE2026년 8월 6일댓글 수 로딩 중
[onnxruntime] [CUDA] QMoE MXFP4/NVFP4 가중치 역양자화 성능 최적화: Coalesced Memory Access의 힘ONNX Runtime의 QMoE 가중치 역양자화 커널을 Coalesced Memory Access 패턴으로 최적화하여 MoE 모델의 추론 속도를 대폭 향상시킨 PR 분석.#CUDA#ONNXRuntime#MoE#Optimization#GPU#DeepLearning#FP4#Dequantization#MemoryAccess2026년 8월 3일댓글 수 로딩 중
[sglang] sglang, MoE 모델 로딩 속도 5.6배 향상: mmap 뷰 최적화 분석sglang에서 MoE 모델 로딩 시 발생하는 병목 현상을 해결하여 로딩 속도를 획기적으로 개선한 PR을 분석합니다.#sglang#MoE#최적화#성능 개선#모델 로딩#AMD GPU2026년 8월 2일댓글 수 로딩 중
[flashinfer] FlashInfer, MoE 모델의 성능을 극적으로 향상시키는 융합 커널과 최적화된 스케줄러 도입FlashInfer가 MoE 모델의 FC1 연산을 융합 커널로 최적화하고, 워프 협력 스케줄러를 도입하여 성능을 크게 향상시켰습니다.#AI#딥러닝#최적화#GPU#FlashInfer#MoE#FP8#MXFP8#CUDA2026년 7월 29일댓글 수 로딩 중
[flashinfer] FlashInfer의 Mixture-of-Experts(MoE) 라우팅 성능 최적화 분석고성능 MoE 워크로드를 위한 TopK 라우팅 최적화: 레지스터 압력 감소 및 병렬화 전략#FlashInfer#CUDA#MoE#Performance#GPU2026년 7월 28일댓글 수 로딩 중
[vllm] [vLLM] Hopper와 Blackwell을 위한 Router GEMM 최적화: DeepSeek-V4와 GLM5.2 성능 극대화하기vLLM에서 MoE 모델의 병목인 Router GEMM을 GPU 아키텍처별로 정밀 튜닝하여 최대 5.8%의 성능 향상을 이끌어낸 과정을 살펴봅니다.#vLLM#CUDA#MoE#DeepSeek-V4#Performance-Tuning#Hopper#Blackwell2026년 7월 27일댓글 수 로딩 중
[sglang] SGLang의 Marlin MoE 커널 최적화: JIT 컴파일 시간 특화와 점유율 기반 스케줄링Marlin MoE 커널의 분기 제거 및 점유율 최적화를 통해 Kimi-K2.7 모델의 Prefill 성능을 약 4% 향상시킨 사례 분석#SGLang#CUDA#Marlin#MoE#Performance2026년 7월 25일댓글 수 로딩 중
[onnxruntime] ONNX Runtime: Blackwell (SM120+)에서 NVFP4 QMoE를 위한 네이티브 FP4xFP4 Prefill 최적화ONNX Runtime이 Blackwell GPU에서 NVFP4 QMoE의 FP4xFP4 prefill 경로를 최적화하고, SM120 빌드 오류를 해결한 PR 분석.#ONNXRuntime#CUDA#FP4#Quantization#Blackwell#SM120#CUTLASS#Optimization#MoE2026년 7월 24일댓글 수 로딩 중
[flashinfer] FlashInfer MoE All-to-All 최적화: TRT-LLM의 성능 비결을 파헤치다FlashInfer의 MoE All-to-All 통신 최적화 PR을 통해 TRT-LLM의 성능 개선 기법을 분석합니다.#FlashInfer#MoE#All-to-All#CUDA#GPU Optimization#TensorRT-LLM#FP8#PDL2026년 7월 22일댓글 수 로딩 중
[sglang] [SGLang] MoE Prefill의 혁신: DWDP(Distributed Weight Data Parallelism) 도입 분석MoE 모델의 Prefill 단계에서 All-to-All 통신 병목을 제거하고 NVLink를 통한 가중치 프리페칭으로 성능을 극대화하는 DWDP 기법을 살펴봅니다.#LLM#MoE#Distributed Computing#CUDA VMM#SGLang#Performance Optimization2026년 7월 21일댓글 수 로딩 중
[논문리뷰] xHC: Expanded Hyper-Connections본 논문은 Transformer의 residual stream을 확장하는 기존 HC 계열 기법들이 왜 $N=4$ 수준에서 한계에 직면하는지에 대한 근본적인 원인을 진단합니다.#Review#Hyper-Connections#Transformer#Residual-Stream#Sparse-Architecture#Scaling-Laws#MoE#LLM2026년 7월 19일댓글 수 로딩 중
[sglang] SM120 Blackwell에서 DeepSeek-V4 모델 서빙 최적화: FlashInfer MXFP4 MoE 도입 및 메모리 절감SM120 GPU에서 DeepSeek-V4 모델 서빙 시 발생하던 문제를 해결하고 성능을 개선한 PR 분석.#sglang#DeepSeek-V4#SM120#Blackwell#FlashInfer#MXFP4#MoE#최적화#성능 개선#메모리 절감2026년 7월 18일댓글 수 로딩 중
[vllm] vLLM MoE 성능 최적화: FlashInfer One-Sided Combine을 활용한 메모리 복사 제거FlashInfer의 one-sided combine 기능을 활용해 MoE 출력 텐서의 불필요한 복사 과정을 제거하고 성능을 개선한 사례를 분석합니다.#vLLM#MoE#FlashInfer#Performance#GPU2026년 7월 16일댓글 수 로딩 중
[sglang] SGLang MoE All-Reduce 최적화: NCCL Symmetric Memory 활용으로 지연 시간 50% 단축SGLang MoE 레이어의 all-reduce 성능을 NCCL symmetric memory로 최적화하여 TPOT 6.55% 개선.#SGLang#MoE#AllReduce#NCCL#SymmetricMemory#DeepSeek-V4#성능최적화#GPU2026년 7월 15일댓글 수 로딩 중
[flashinfer] FlashInfer: NVIDIA Blackwell(SM120)을 위한 고성능 FP8 MoE GEMM 최적화NVIDIA SM120 아키텍처에서 CuTe C++를 활용해 FP8 groupwise MoE GEMM을 구현하여 성능을 극대화했습니다.#FlashInfer#CUDA#GEMM#MoE#Blackwell#FP82026년 7월 14일댓글 수 로딩 중
[vllm] vLLM에서 Qwen MoE 모델의 All-Reduce를 Reduce-Scatter로 최적화하기vLLM의 Qwen MoE 모델에서 불필요한 All-Reduce 연산을 Reduce-Scatter로 대체하여 통신 오버헤드를 줄이고 성능을 개선했습니다.#vLLM#LLM#MoE#Distributed Training#Optimization2026년 7월 12일댓글 수 로딩 중
[flashinfer] FlashInfer MoE 최적화: PDL 스케줄링 개선 및 GEMM2 균형 잡힌 스토어 구현FlashInfer의 MoE 커널에서 PDL 시작 지연을 줄이고 GEMM2의 부분 타일 스토어를 워프 간 인터리빙하여 성능을 향상시킨 최적화 분석.#FlashInfer#MoE#CUDA#CuTe#GEMM#Performance2026년 7월 11일댓글 수 로딩 중
[axolotl] Axolotl, NVFP4 LoRA 지원으로 MoE 모델 훈련 최적화Axolotl이 NVFP4 MoE LoRA 지원을 추가하여 MoE 모델 훈련 효율성을 높였습니다.#Axolotl#MoE#LoRA#NVFP4#최적화#딥러닝2026년 7월 9일댓글 수 로딩 중
[sglang] SGLang MoE Shared Expert 최적화: 3개 커널을 1개로 융합하여 GPU 오버헤드 제거SGLang에서 MoE Shared Expert 처리 시 3개의 GPU 커널을 1개로 융합하여 성능을 개선했습니다.#SGLang#MoE#Kernel Fusion#Triton#GPU Optimization#AMD AITER2026년 7월 8일댓글 수 로딩 중
[vllm] vLLM의 Sequence Parallelism 최적화: DP 의존성 제거를 통한 성능 향상vLLM에서 Data Parallelism 없이 Sequence Parallelism을 지원하여 MoE 모델의 효율성을 극대화한 최적화 분석.#vLLM#LLM#MoE#SequenceParallelism#DistributedComputing2026년 7월 5일댓글 수 로딩 중
[flashinfer] FlashInfer의 TRTLLM-Gen MoE 라우팅 최적화: 레지스터 압박 해소와 성능 극대화MoE 라우팅 커널의 스레드 블록 크기를 동적으로 최적화하여 레지스터 압박을 줄이고 고성능을 달성한 사례 분석.#FlashInfer#MoE#CUDA#GPU Optimization#TRTLLM2026년 6월 29일댓글 수 로딩 중
[vllm] vLLM ROCM 최적화: GLM-4 MoE를 위한 Fused Shared Expert(FSE) 도입GLM-4 MoE 모델의 공유 전문가(Shared Expert)를 FusedMoE 커널로 통합하여 추론 성능을 최대 22% 향상시켰습니다.#vLLM#ROCm#MoE#Performance#Optimization2026년 6월 28일댓글 수 로딩 중
[vllm] vLLM ROCm 환경에서 FlyDSL을 활용한 MXFP8 MoE 성능 최적화ROCm gfx950 환경에서 FlyDSL 기반 MXFP8 MoE 커널을 통합하여 추론 성능을 최대 20% 향상하고 백엔드 선택 로직을 개선했습니다.#vLLM#ROCm#MoE#MXFP8#Performance#FlyDSL2026년 6월 27일댓글 수 로딩 중
[vllm] vLLM ROCm 환경에서 Shared-Expert Fusion을 통한 MoE 추론 성능 최적화MiniMax-M3 모델의 공유 전문가(Shared-expert)를 라우팅된 그룹 GEMM에 통합하여 추론 지연 시간을 최대 30% 개선했습니다.#vLLM#ROCm#MoE#Performance#Optimization2026년 6월 26일댓글 수 로딩 중
[onnxruntime] ONNX Runtime: MoE Router GEMV 최적화 및 Bias Fusion 구현GPT-OSS-20B 모델의 MoE 라우터 성능 향상을 위해 MatMulNBits 커널에 특화된 GEMV 경로와 Bias Fusion을 도입했습니다.#ONNX Runtime#CUDA#MoE#GEMV#Optimization2026년 6월 24일댓글 수 로딩 중
[axolotl] Axolotl, Marlin W4A16 도입으로 MoE 모델 추론 속도 1.79배 향상 및 품질 개선Axolotl이 Marlin W4A16 백엔드를 도입하여 MoE 모델의 추론 속도를 1.79배 높이고, 활성화 양자화 오류를 제거하여 모델 품질을 향상시켰습니다.#Axolotl#Marlin#MoE#DeepSeek-V4#W4A16#BF16#Quantization#Optimization#Deep Learning#LLM2026년 6월 20일댓글 수 로딩 중
[vllm] vLLM에서 Flashinfer 기반 Non-gated MoE bf16 지원 최적화 분석vLLM의 Flashinfer-TRTLLM 백엔드에 Non-gated MoE bf16 지원을 추가하여 성능을 약 15% 향상시킨 기술적 변경사항을 분석합니다.#vLLM#MoE#Flashinfer#DeepLearning#Optimization2026년 6월 17일댓글 수 로딩 중
[sglang] Apple Silicon MLX 환경에서 SwitchGLU MoE 블록의 SwiGLU 활성화를 Gate Gather-QMV로 융합하여 성능 최적화Apple Silicon MLX 환경에서 SwitchGLU MoE 블록의 SwiGLU 활성화를 Gate Gather-QMV로 융합하여 성능 최적화하는 PR 분석#Apple Silicon#MLX#MoE#Optimization#SGLang2026년 6월 13일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA MoE: 소규모 배치 디코딩을 위한 SoftmaxTopK 라우터 최적화ONNX Runtime CUDA MoE에서 소규모 배치 디코딩 시 SoftmaxTopK 라우터 성능을 개선하는 방법을 기술합니다.#ONNX Runtime#CUDA#MoE#최적화#성능2026년 6월 12일댓글 수 로딩 중
[sglang] SGLang에서 Qwen3-Next FP8 MoE 최적화: H200을 위한 Shared-Expert FusionH200 환경에서 Qwen3-Next FP8 MoE 모델의 성능을 극대화하기 위한 Shared-Expert Fusion 및 Triton 커널 최적화 분석.#SGLang#LLM#MoE#FP8#Triton#H2002026년 6월 11일댓글 수 로딩 중
[flashinfer] FlashInfer Unified MoE API: NVFP4 백엔드 통합 및 자동 튜닝 최적화CuteDSL과 TRTLLM FP4 백엔드를 통합하고, 런타임 자동 튜닝을 통해 최적의 성능을 선택하는 Unified MoE API 설계 및 구현.#FlashInfer#MoE#NVFP4#Autotuning#LLM2026년 6월 10일댓글 수 로딩 중
[axolotl] ScatterMoE LoRA 최적화: Grouped-Gram 및 Sync-free 역전파 구현대규모 MoE 모델의 LoRA 학습 시 발생하는 병목을 해결하기 위해 Grouped-Gram 커널과 동기화 없는 역전파 경로를 도입하여 성능을 최대 2.2배 개선했습니다.#PyTorch#Triton#MoE#LoRA#PerformanceOptimization2026년 6월 7일댓글 수 로딩 중
[flashinfer] FlashInfer의 MoE Routing 성능 최적화: Batcher's Odd-Even Merge Sort 도입FlashInfer의 MoE Top-K 연산에서 64비트 리덕션 최적화 및 비-2의 거듭제곱 정렬을 Batcher's 네트워크로 개선하여 성능을 극대화했습니다.#FlashInfer#CUDA#MoE#Optimization#GPU#Sorting2026년 6월 4일댓글 수 로딩 중
[논문리뷰] On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters본 논문은 범용적인 기초 모델을 넘어 수백만 명의 개인별 요구사항을 지속적으로 반영할 수 있는 '개인화된 모델(Personal Models)'의 확장성 문제를 해결하고자 합니다.#Review#PEFT#LoRA#Personal Models#Reinforcement Learning#MoE#Infrastructure#Scaling Laws2026년 6월 1일댓글 수 로딩 중
[논문리뷰] NITP: Next Implicit Token Prediction for LLM Pre-training본 논문은 표준적인 NTP가 잠재 표현(latent representation)에 대해 충분한 기하학적 제약을 제공하지 못한다는 문제를 해결하고자 한다.#Review#LLM Pre-training#Next Implicit Token Prediction#Representation Geometry#Representation Degeneration#Self-supervised Learning#MoE#Representation Expressivity2026년 6월 1일댓글 수 로딩 중
[논문리뷰] Confidence-Adaptive SwiGLU for Mixture-of-Experts본 논문은 MoE 모델 내 SwiGLU 활성화 함수의 게이트 선택성이 훈련 과정 전반에 걸쳐 고정되어 있다는 점을 해결하고자 합니다.#Review#Mixture-of-Experts#SwiGLU#Gate Sharpness#Routing Confidence#Transformer#Activation Function#MoE2026년 6월 1일댓글 수 로딩 중
[vllm] [vLLM] MiniMax-M2 MoE Gate 최적화: Fused FP32 Kernel로 서빙 성능 32% 향상시키기vLLM에서 MiniMax-M2 모델의 MoE Gate 연산을 Fused Kernel로 최적화하여 저지연 환경의 성능을 대폭 개선한 사례를 분석합니다.#vLLM#CUDA#MoE#Optimization#MiniMax-M2#LLM Serving2026년 5월 30일댓글 수 로딩 중
[axolotl] Axolotl MoE 모델 최적화: Tiled-MLP 도입 및 FSDP2 통합으로 성능 극대화Axolotl에서 MoE 모델의 성능을 획기적으로 개선한 Tiled-MLP 도입 및 FSDP2 최적화 분석#Axolotl#MoE#Tiled-MLP#FSDP2#최적화#성능 개선#딥러닝2026년 5월 28일댓글 수 로딩 중
[vllm] vLLM의 MoE Permute 최적화: 버퍼 사전 할당을 통한 성능 향상MoE 연산 시 빈번한 메모리 할당을 제거하여 소규모 배치에서 최대 14%의 성능 향상을 달성한 최적화 기법을 분석합니다.#vLLM#MoE#CUDA#PerformanceOptimization#DeepLearning2026년 5월 28일댓글 수 로딩 중
[vllm] vLLM, ROCm 환경에서 AITER MoE 연산 성능 최적화를 위한 환경 변수 노출vLLM에서 ROCm 환경의 AITER MoE 연산 성능을 개선하기 위해 새로운 환경 변수를 도입하여 최적화 옵션을 제공합니다.#vLLM#ROCm#AITER#MoE#Performance Optimization#Environment Variable2026년 5월 27일댓글 수 로딩 중
[sglang] SGLang의 MoE 성능 최적화: 512 전문가 모델을 위한 커널 최적화Qwen3.5-397B와 같은 대규모 MoE 모델을 위해 512 전문가를 지원하는 커널 최적화로 성능을 최대 4배 이상 향상시켰습니다.#SGLang#MoE#CUDA#Kernel Optimization#LLM2026년 5월 25일댓글 수 로딩 중
[LlamaFactory] LlamaFactory의 Triton 기반 Fused MoE 커널 도입: 40% 이상의 성능 향상Triton으로 구현된 Fused MoE 커널을 통해 Mixtral 등 MoE 모델의 학습 속도를 획기적으로 개선합니다.#LlamaFactory#Triton#MoE#DeepLearning#Optimization2026년 5월 20일댓글 수 로딩 중
[sglang] DeepSeekV4 Fused MoE Triton 커널 지원 추가: 성능 최적화 분석DeepSeekV4 모델의 Fused MoE Triton 커널 지원을 추가하여 추론 성능을 향상시킨 PR 분석#AI#LLM#Optimization#Triton#DeepSeekV4#MoE2026년 5월 18일댓글 수 로딩 중
[sglang] SGLang NPU 최적화: MoE 모델을 위한 Dual Stream 병렬 처리 도입NPU 환경에서 Shared Expert와 Routed Expert 연산을 독립적인 스트림으로 분리하여 MoE 모델의 처리량을 11% 이상 향상시켰습니다.#SGLang#NPU#MoE#Performance Optimization#Deep Learning2026년 5월 11일댓글 수 로딩 중
[sglang] SGLang: Triton 버전 업그레이드에 따른 MoE 성능 회귀 해결 및 설정 자동화PyTorch 2.11 업그레이드 이후 발생한 Triton 버전 호환성 문제를 해결하고, MoE 커널 설정 탐색 로직을 동적으로 개선하여 성능 회귀를 방지하는 방법.#SGLang#Triton#DeepSeek#MoE#PerformanceOptimization2026년 5월 9일댓글 수 로딩 중
[flashinfer] FlashInfer, MoE 및 FP8 GEMM 성능 향상을 위한 커널 업데이트FlashInfer의 MoE 및 FP8 GEMM 커널 업데이트를 통해 성능을 최적화하고 호환성을 개선합니다.#FlashInfer#GEMM#MoE#FP8#CUDA#최적화2026년 5월 8일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell SM120을 위한 MoE Short-Decode 최적화 분석FlashInfer의 SM120 MoE 커널 업데이트를 통해 단일 토큰 디코딩 성능을 극대화하는 마이크로 커널 최적화 기법을 살펴봅니다.#CUDA#MoE#Blackwell#Performance#Triton2026년 5월 7일댓글 수 로딩 중
[transformers] Hugging Face Transformers: MoE 및 FP8 커널 최적화를 통한 성능 향상Hugging Face Transformers 라이브러리의 MoE 및 FP8 커널 최적화를 통해 성능을 개선하고 안정성을 높인 PR 분석#transformers#optimization#MoE#FP8#performance#kernel2026년 5월 4일댓글 수 로딩 중
[vllm] vLLM에 Humming MXFP4 MoE 백엔드 통합: 성능 최적화와 양자화의 만남vLLM에 Humming MXFP4 MoE 백엔드를 추가하여 MoE 모델의 추론 성능을 크게 향상시켰습니다.#vLLM#Humming#MoE#Quantization#Performance Optimization#DeepSeek-V4#MXFP42026년 5월 3일댓글 수 로딩 중
[sglang] FlashInfer TRTLLM-Gen MoE 커널 최적화: NemotronH 모델 지원 및 성능 향상FlashInfer TRTLLM-Gen MoE 커널에 NemotronH 모델 지원을 추가하고 성능을 최적화한 PR 분석.#FlashInfer#TRTLLM#MoE#NemotronH#FP4#FP8#Kernel Optimization#Deep Learning#Performance2026년 4월 29일댓글 수 로딩 중
[sglang] SGLang MoE 라우팅 최적화: AMD GPU에서 aiter.biased_grouped_topk 활용AMD GPU에서 MoE 라우팅의 sigmoid 스코어링을 위한 커널 최적화로 처리량 2.4% 향상.#SGLang#MoE#AMD GPU#최적화#성능#AIter#GPU Kernel2026년 4월 25일댓글 수 로딩 중
[flashinfer] FlashInfer 오토튜너 최적화: 하이브리드 토큰 버킷 도입기존 2의 거듭제곱 방식의 토큰 버킷을 하이브리드 방식으로 개선하여 MoE 및 GEMM 커널의 튜닝 정확도와 성능을 향상시켰습니다.#FlashInfer#LLM#Autotuning#Optimization#MoE2026년 4월 24일댓글 수 로딩 중
[vllm] vLLM, MXFP4 양자화 MoE 모델을 위한 CUTLASS 기반 SM100 커널 추가로 성능 향상vLLM이 MXFP4 양자화 MoE 모델 추론을 위한 새로운 CUTLASS 커널을 SM100에 추가하여 성능을 개선했습니다.#vLLM#MXFP4#MoE#Quantization#CUTLASS#Performance Optimization#SM1002026년 4월 18일댓글 수 로딩 중
[vllm] vLLM CI 속도 개선: 70분 걸리던 MoE 테스트를 5분으로 단축하기불필요한 조합을 제거하고 핵심 시나리오 중심의 테스트 케이스 재설계를 통해 CI 성능을 14배 개선한 사례를 분석합니다.#vLLM#CI/CD#Optimization#MoE#Python2026년 4월 18일댓글 수 로딩 중
[sglang] [AMD] Triton 커널 퓨전을 통한 Qwen3.5 MoE 라우팅 최적화 분석4개의 커널 호출을 단일 Triton 커널로 통합하여 Qwen3.5 MoE 모델의 서빙 성능을 최대 4.16% 향상시킨 최적화 기법을 살펴봅니다.#Triton#MoE#Qwen3.5#Kernel-Fusion#SGLang#AMD2026년 4월 15일댓글 수 로딩 중
[llm-compressor] Modeling Overrides: DeepSeek/Llama4/Qwen3 등 모델별 패치modeling 디렉토리가 DeepSeek-V3, Llama-4, Qwen3-MoE, GPT-OSS 등 특수 아키텍처를 llm-compressor에 맞춰 override하는 구조 분석#llm-compressor#Modeling#MoE#Override2026년 4월 13일댓글 수 로딩 중
[sglang] Intel GPU 가속을 위한 SGLang MoE 커널 최적화: GPT-OSS bf16 지원 분석Intel XPU 환경에서 GPT-OSS 모델의 MoE 연산 효율을 극대화하기 위한 fused_experts 커널 파라미터 최적화 기법을 살펴봅니다.#SGLang#Intel GPU#XPU#MoE#GPT-OSS#Deep Learning Optimization2026년 4월 13일댓글 수 로딩 중
[vllm] vLLM 성능의 한계를 넘다: MXFP8 양자화 지원 및 MoE 최적화 분석vLLM에 추가된 MXFP8 양자화 지원을 통해 추론 처리량을 최대 42% 향상시키고 MoE 모델의 효율성을 극대화하는 방법을 살펴봅니다.#vLLM#Quantization#MXFP8#MoE#Performance-Optimization2026년 4월 12일댓글 수 로딩 중
[SGLang] CUTLASS MoE: 최적화 GEMM 커널 기반 전문가 연산SGLang의 CUTLASS MoE를 분석한다. NVIDIA CUTLASS 라이브러리를 활용한 고성능 MoE GEMM 커널, Triton 대비 성능 차이, 양자화 지원을 코드와 함께 살펴본다.#sglang#CUTLASS#MoE#GEMM Kernel#NVIDIA2026년 4월 12일댓글 수 로딩 중
[sglang] DeepSeek V3/R1 추론 최적화: DeepEP 공유 전문가(Shared Expert) 융합 기술 분석DeepEP 환경에서 공유 전문가를 MoE 경로로 통합하여 독립적 연산 오버헤드를 제거하고 추론 성능을 개선하는 최적화 기법을 살펴봅니다.#SGLang#DeepSeek#MoE#DeepEP#LLM Inference2026년 4월 9일댓글 수 로딩 중
[llm-compressor] Gemma4 MoE 모델 양자화를 위한 llm-compressor 지원 추가 분석llm-compressor에 Gemma4 MoE 모델의 양자화 및 최적화를 위한 지원을 추가하는 PR을 분석합니다.#llm-compressor#Gemma4#MoE#양자화#최적화#기술 블로그2026년 4월 7일댓글 수 로딩 중
[sglang] SGLang: MiniMax-M2.5 MoE 모델을 위한 FP8 FlashInfer TRT-LLM 라우팅 최적화SGLang에서 MiniMax-M2.5 MoE 모델의 FP8 추론 성능을 FlashInfer TRT-LLM으로 최적화한 PR 분석.#SGLang#FlashInfer#TRT-LLM#MoE#FP8#최적화#성능#MiniMax-M2.52026년 4월 2일댓글 수 로딩 중
[sglang] DeepEP Low Latency FP8 Dispatch 변경 revertDeepSeek-R1-0528-w4a8의 DeepEP Low Latency Dispatch FP8 통신 변경을 revert하여 안정성 확보#SGLang#DeepEP#MoE#FP8#Revert2026년 3월 31일댓글 수 로딩 중
[sglang] AMD에서 MoE Gate router gemm을 tgemm.mm으로 교체DeepSeek-V2의 MoE gate router에서 수동 GEMM 분기를 aiter의 tgemm.mm 자동 디스패처로 교체하여 성능 회귀 해결#SGLang#AMD#ROCm#MoE#GEMM2026년 3월 31일댓글 수 로딩 중
[sglang] Qwen3.5 MoE 모델 로딩 및 Mamba 캐시 PP 모드 샤딩 수정SGLang에서 Qwen3.5 MoE 모델의 Pipeline Parallelism 로딩 시 weight 필터링 누락과 Mamba 캐시 레이어 범위 계산 오류를 수정한 분석.#SGLang#Qwen3.5#MoE#Pipeline Parallelism#Mamba#Bug Fix2026년 3월 30일댓글 수 로딩 중
[Axolotl] ScatterMoE LoRA 최적화: 벤치마크, 커널 분할, autograd 통합ScatterMoE LoRA Triton 커널에 벤치마크 도구를 추가하고, large expert 모델에서 fused/split forward 자동 선택 및 autograd 통합을 최적화한 분석.#Axolotl#ScatterMoE#LoRA#Triton#MoE#Benchmark#GPU#Performance2026년 3월 19일댓글 수 로딩 중
[Axolotl] 가중치 동기 로딩으로 OOM 방지MoE 모델 로딩 시 비동기 텐서 전송을 비활성화하여 GPU OOM을 방지하는 수정#Axolotl#MoE#OOM#Memory Optimization#Quantization2026년 3월 7일댓글 수 로딩 중
[axolotl] ScatterMoE 커널 라우팅 통합: Softmax/Sigmoid 기반 라우팅과 Autotune Telemetry 추가MoE 모델의 다양한 라우팅 전략(Softmax TopK, Sigmoid TopK)을 통합 함수로 정리하고, Triton autotune 결과를 자동 수집하는 telemetry callback을 추가한 사례를 분석합니다.#Axolotl#MoE#ScatterMoE#Triton#Routing#Telemetry2026년 3월 6일댓글 수 로딩 중
[sglang] MoE 모델 추론 최적화: Triton 커널 퓨전을 통한 TTFT 28% 개선MoE 모델 추론 시 `fused_moe_triton`과 `moe_sum_all_reduce` 커널 퓨전으로 TTFT를 28% 개선했습니다.#MoE#Triton#Kernel Fusion#GPU Optimization#LLM Inference#SGLang2026년 3월 4일댓글 수 로딩 중
[논문리뷰] Arcee Trinity Large Technical Report본 논문은 희소한 Mixture-of-Experts (MoE) 아키텍처를 기반으로 하는 대규모 언어 모델인 Trinity Large 를 개발하고, 효율적인 학습 및 추론 성능과 높은 안정성을 달성하는 것을 목표로 합니다.#Review#Mixture-of-Experts#Sparse LLM#Training Stability#Load Balancing#MoE#Transformer Architecture#Context Extension#Muon Optimizer2026년 2월 19일댓글 수 로딩 중
[논문리뷰] SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning본 논문은 대규모 언어 모델(LLM)의 사전 훈련 비용을 절감하기 위한 점진적 학습(Progressive Learning, PL)의 핵심 과제인 중간 단계 너비 확장(mid-stage width expansion) 의 불안정성을 해결하는 것을 목표로 합니다.#Review#Progressive Learning#Width Expansion#Signal Preservation#Symmetry Breaking#LLM#Training Stability#MoE#RMSNorm2026년 2월 2일댓글 수 로딩 중
[논문리뷰] ConceptMoE: Adaptive Token-to-Concept Compression for Implicit Compute Allocation대규모 언어 모델(LLMs)이 모든 토큰에 균일하게 연산을 할당하여 비효율적인 연산 자원 사용을 초래하는 문제를 해결하는 것이 목표입니다.#Review#MoE#LLMs#Adaptive Compression#Token Merging#Compute Allocation#Efficiency#Vision-Language Models#Continual Training2026년 1월 29일댓글 수 로딩 중
[논문리뷰] OmegaUse: Building a General-Purpose GUI Agent for Autonomous Task Execution본 논문은 모바일 및 데스크톱 환경 모두에서 자율적인 태스크 실행을 위한 범용 GUI(Graphical User Interface) 에이전트 모델인 OmegaUse 를 구축하는 것을 목표로 합니다.#Review#GUI Agent#Multimodal AI#MoE#Data Synthesis#Reinforcement Learning#Cross-Platform#Benchmarking2026년 1월 28일댓글 수 로딩 중
[triton] NVIDIA canSkipBarSync 복원으로 MoE 커널 18GBps 성능 향상Blackwell 지원 과정에서 비활성화된 barrier skip 최적화를 보수적으로 재설계하여 복원하고, persistent MoE 커널 성능을 개선한 PR을 분석합니다.#Triton#NVIDIA#Membar#Optimization#MoE2026년 1월 22일댓글 수 로딩 중
[SGLang] MoE 모델을 위한 Single Batch Overlap 기법Hopper GPU에서 MoE 모델의 compute와 communication을 overlap하여 추론 성능을 향상시킨다#SGLang#MoE#GPU Optimization#Inference2025년 12월 3일댓글 수 로딩 중
[triton] Matmul에서 Split-K Reduction과 Inter-Expert Reduction 분리Triton Kernels의 matmul_ogs에서 split-k reduction을 inter-expert reduction과 분리하여 MoE 파이프라인의 유연성을 높인 PR 분석.#Triton#MatMul#SplitK#MoE#Reduction#Refactoring2025년 10월 29일댓글 수 로딩 중
[논문리뷰] Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers본 논문은 Mixture-of-Experts (MoE) 모델 의 강화 학습(RL) 훈련 과정에서 발생하는 불안정성, 특히 훈련-추론 간 라우팅 동작의 불일치 로 인한 정책 KL 발산 및 훈련 붕괴 문제 를 해결하는 것을 목표로 합니다.#Review#MoE#Reinforcement Learning#Training Stability#Routing#Policy Alignment#Rollout Routing Replay#LLMs2025년 10월 27일댓글 수 로딩 중
[triton] Expert Parallelism 기본 구현과 Reduce 커널 추가Triton Kernels 라이브러리에 Expert Parallelism을 위한 기본 구현과 독립적인 reduce 커널을 추가하여 MoE 워크로드의 분산 처리를 지원하는 PR 분석.#Triton#ExpertParallelism#MoE#Reduce#Distributed#GPU2025년 10월 16일댓글 수 로딩 중