[sglang] SGLang Diffusion 모델의 FP8 GEMM 최적화: 41.5% 성능 향상 달성Ideogram4 모델의 FP8 weight-only linear 연산을 Fused W8A8 FP8 GEMM으로 교체하여 추론 속도를 1.7배 개선했습니다.#SGLang#Diffusion#FP8#GEMM#Optimization#CUDA2026년 6월 11일댓글 수 로딩 중
[sglang] ROCm 아키텍처별 최적화: 런타임 디스패치로 성능 극대화ROCm 커널의 멀티 아키텍처 지원 강화 및 런타임 최적화를 통해 성능을 향상시킨 PR 분석#ROCm#GPU 최적화#커널 프로그래밍#FP8#TopK#성능 향상2026년 6월 11일댓글 수 로딩 중
[sglang] SGLang에서 Qwen3-Next FP8 MoE 최적화: H200을 위한 Shared-Expert FusionH200 환경에서 Qwen3-Next FP8 MoE 모델의 성능을 극대화하기 위한 Shared-Expert Fusion 및 Triton 커널 최적화 분석.#SGLang#LLM#MoE#FP8#Triton#H2002026년 6월 11일댓글 수 로딩 중
[onnxruntime] WebGPU 성능 최적화: Graph Capture 재사용을 위한 Session-level Buffer Pool 도입ONNX Runtime WebGPU EP에서 그래프 캡처 시 발생하는 버퍼 재할당 오버헤드를 줄이기 위한 세션 레벨 버퍼 풀링 기법 분석#WebGPU#ONNXRuntime#Performance#GraphCapture#GenAI2026년 6월 10일댓글 수 로딩 중
[sglang] SGLang에서 DP Attention, TBO, Shared Experts Fusion 동시 최적화 구현DP Attention, TBO, Shared Experts Fusion을 통합하여 DeepSeek 모델의 추론 성능을 약 2.5% 향상시킨 기술적 해결 과정.#SGLang#DeepSeek#LLM#Optimization#DistributedInference2026년 6월 10일댓글 수 로딩 중
[flashinfer] FlashInfer Unified MoE API: NVFP4 백엔드 통합 및 자동 튜닝 최적화CuteDSL과 TRTLLM FP4 백엔드를 통합하고, 런타임 자동 튜닝을 통해 최적의 성능을 선택하는 Unified MoE API 설계 및 구현.#FlashInfer#MoE#NVFP4#Autotuning#LLM2026년 6월 10일댓글 수 로딩 중
[vllm] vLLM, DFlash 도입으로 추론 속도 1.2배 향상: MRV2와 CUDAGraph의 시너지vLLM이 DFlash를 도입하여 MRV2 및 CUDAGraph와 결합, 추론 속도를 1.2배 향상시킨 기술적 분석입니다.#vLLM#DFlash#Speculative Decoding#Performance Optimization#CUDAGraph#LLM Inference2026년 6월 10일댓글 수 로딩 중
[loki] Grafana Loki의 Shuffle Sharding 알고리즘 최적화: 성능 향상의 비결Grafana Loki의 Shuffle Sharding 알고리즘이 어떻게 최적화되어 성능을 크게 향상시켰는지 분석합니다.#Grafana Loki#Shuffle Sharding#성능 최적화#Go#알고리즘2026년 6월 9일댓글 수 로딩 중
[sglang] SGLang LTX-2 VAE 디코딩 성능 최적화: channels_last_3d 도입으로 4.5배 속도 향상LTX-2 VAE 디코딩 과정에서 channels_last_3d 메모리 레이아웃을 적용하여 Conv3d 연산 속도를 4.5배 높이고 메모리 사용량을 13.5% 절감했습니다.#SGLang#DeepLearning#Optimization#VAE#CUDA2026년 6월 9일댓글 수 로딩 중
[transformers] Hugging Face Transformers: 멀티프로세싱 풀 재사용을 통한 모듈식 변환 성능 최적화멀티프로세싱 풀을 매번 생성하지 않고 재사용함으로써 모듈식 변환 속도를 약 50% 향상시킨 사례를 분석합니다.#Python#Performance#Multiprocessing#HuggingFace#Optimization2026년 6월 9일댓글 수 로딩 중
[transformers] [Hugging Face] n-to-1 커널 퓨전과 파라미터 변환: KernelConfig API의 진화Transformers 모델의 성능 극대화를 위한 모듈 퓨전 및 가중치 레이아웃 변환 자동화 기법 분석#HuggingFace#Transformers#KernelFusion#PyTorch#Optimization2026년 6월 9일댓글 수 로딩 중
[sglang] SGLang의 Spectral Progressive Diffusion 도입: 추론 속도 최대 2.78배 향상Transformer의 O(n²) 연산 비용을 혁신적으로 줄이는 Spectral Progressive Diffusion 기술 분석#SGLang#Diffusion#Optimization#Transformer#GPU2026년 6월 8일댓글 수 로딩 중
[vllm] vLLM CPU 추론 성능 최적화: Speculative Decoding과 libiomp5의 중요성vLLM의 CPU Speculative Decoding 환경에서 libiomp5 누락 시 발생하는 성능 저하 문제를 진단하고 경고하는 최적화 가이드.#vLLM#CPU#Speculative Decoding#OpenMP#Performance2026년 6월 8일댓글 수 로딩 중
[triton] [AMD Triton] LLVM InstCombine의 함정을 피하는 법: TDM 텐서 클램핑 최적화LLVM의 InstCombine이 유발하는 불필요한 VALU 연산과 v_readfirstlane 오버헤드를 방지하기 위한 TDM 디스크립터 생성 로직 개선 사례를 살펴봅니다.#Triton#AMD#LLVM#GPU#Optimization#Codegen2026년 6월 8일댓글 수 로딩 중
[sglang] AMD MI300에서의 GPT-OSS 120B 추론 성능 최적화: 새로운 KV 캐시 레이아웃과 커널 통합AMD GPU에서 GPT-OSS 120B 모델의 추론 속도를 15% 이상 향상시키는 최적화 방안을 분석합니다.#AMD#ROCm#SGLang#GPT-OSS#성능 최적화#KV Cache#Attention Kernel2026년 6월 8일댓글 수 로딩 중
[axolotl] ScatterMoE LoRA 최적화: Grouped-Gram 및 Sync-free 역전파 구현대규모 MoE 모델의 LoRA 학습 시 발생하는 병목을 해결하기 위해 Grouped-Gram 커널과 동기화 없는 역전파 경로를 도입하여 성능을 최대 2.2배 개선했습니다.#PyTorch#Triton#MoE#LoRA#PerformanceOptimization2026년 6월 7일댓글 수 로딩 중
[cpython] Python re 모듈의 findall, sub, subn 성능 개선: PyList_AppendTakeRef 도입Python re 모듈의 findall, sub, subn 함수에서 리스트 생성 시 불필요한 참조 카운트 연산을 제거하여 성능을 개선했습니다.#Python#CPython#Performance#Regex#Optimization2026년 6월 7일댓글 수 로딩 중
[cpython] CPython 내부 최적화: Reference Stealing을 통한 Frame Locals 수집 속도 향상CPython의 frame.f_locals.items() 성능을 4% 향상시킨 Reference Stealing 기법과 내부 API 최적화 분석#Python#CPython#Optimization#C-API#ReferenceCounting2026년 6월 7일댓글 수 로딩 중
[sglang] SGLang의 Ideogram4 추론 성능 최적화: Denoising 루프 내 오버헤드 제거Ideogram4 모델의 Denoising 루프에서 반복적으로 수행되던 마스크 메타데이터 생성 및 스케줄 계산을 사전 연산으로 최적화하여 성능을 개선했습니다.#SGLang#Diffusion#Optimization#Performance#Ideogram42026년 6월 7일댓글 수 로딩 중
[vllm] vLLM의 GDN 어텐션 최적화: Prefill과 Decode 배치 분리를 통한 2배 성능 향상Mixed 배치에서 Prefill과 Decode를 분리하여 GDN 어텐션 연산 효율을 극대화하고 1.93배의 커널 속도 향상을 달성했습니다.#vLLM#LLM#Performance#Optimization#CUDA#GDN2026년 6월 6일댓글 수 로딩 중