#Optimization

272개의 포스트

[sglang] AMD MI355X 환경에서 Triton 3.7 레지스터 스필링 최적화

Triton 3.7 도입 후 발생한 gfx950 아키텍처의 레지스터 스필링 문제를 BLOCK_N 최적화를 통해 해결하고 성능을 58% 개선했습니다.

#SGLang #Triton #AMD #GPU #Optimization

2026년 8월 14일

[sglang] SGLang의 Wan2.2-TI2V 최적화: Triton 커널을 통한 메모리 트래픽 병목 해결

Wan2.2-TI2V 모델의 per-token adaLN 연산을 Triton 커널로 융합하여 메모리 복사를 제거하고 성능을 13% 향상시켰습니다.

#SGLang #Triton #Diffusion #Optimization #GPU

2026년 8월 13일

[onnxruntime] WebGPU MatMulNBits 최적화: Subgroup Shuffle을 활용한 성능 향상

WebGPU MatMulNBits 커널에서 Subgroup Shuffle을 도입하여 A 피연산자의 중복 메모리 읽기를 줄이고 성능을 크게 향상시킨 PR 분석

#WebGPU #ONNX Runtime #MatMulNBits #Optimization #WGSL #Subgroup Shuffle

2026년 8월 13일

[sglang] SGLang의 FLUX.2 추론 최적화: Eager 모드에서의 커널 융합 기법

FLUX.2 모델의 Eager 추론 성능을 높이기 위해 AdaLN과 SwiGLU 연산을 Triton 커널로 융합하여 12% 이상의 속도 향상을 달성했습니다.

#SGLang #FLUX.2 #Triton #Optimization #Inference

2026년 8월 13일

[vllm] vLLM에 Dots3 NOTE 모델 네이티브 지원 추가: 멀티모달 및 하이브리드 MLA 최적화

Dots3 NOTE 모델의 텍스트, 이미지, 오디오, 비디오 처리를 위한 vLLM 네이티브 통합 및 하이브리드 MLA 아키텍처 최적화 분석.

#vLLM #LLM #Multimodal #MLA #Optimization

2026년 8월 12일

[flashinfer] [FlashInfer] CUTLASS MoE 커널 최적화: 벡터화와 동적 스레드 할당으로 성능 한계 돌파하기

FlashInfer의 CUTLASS MoE 커널을 벡터화하고 스레드 점유율을 최적화하여 최대 8%의 성능 향상을 달성한 기법을 분석합니다.

#CUDA #MoE #FlashInfer #CUTLASS #Optimization #LLM

2026년 8월 11일

[flashinfer] FlashInfer의 GDN 커널 런칭 오버헤드 80% 절감하기: 호스트 측 최적화 전략

FlashInfer의 GDN 커널 런칭 오버헤드를 캐싱 전략을 통해 434.7us에서 98.2us로 80% 개선한 사례를 분석합니다.

#FlashInfer #CUDA #Optimization #Performance #CUTE

2026년 8월 11일

[sglang] ERNIE-Image의 RoPE와 GELU-mul 융합 및 RoPE cos/sin 호이스팅을 통한 성능 최적화

ERNIE-Image 모델에서 RoPE와 GELU-mul 연산을 융합하고 RoPE cos/sin 계산을 최적화하여 H100/H200에서 상당한 성능 향상을 달성했습니다.

#ERNIE-Image #PyTorch #Triton #Optimization #RoPE #GELU #Performance

2026년 8월 11일

[flashinfer] FlashInfer: SM120/SM121 아키텍처를 위한 네이티브 MXFP4 W4A4 Fused MoE 지원

Blackwell 아키텍처(SM120)에서 MXFP4 데이터 형식을 활용해 Fused MoE 연산 성능을 최적화하고 처리량을 개선했습니다.

#FlashInfer #MoE #MXFP4 #Blackwell #CUDA #Optimization

2026년 8월 10일

[hermes-agent] Hermes Agent: 10배 빠른 프로젝트 그룹화 최적화 분석

불필요한 git subprocess 호출을 제거하고 캐싱 전략을 개선하여 프로젝트 트리 빌드 속도를 3.3초에서 0.3초로 단단히 개선한 사례입니다.

#Python #Performance #Git #Optimization #Software Engineering

2026년 8월 9일

[sglang] [Kimi K3] CPU 전송 이미지의 지연 전처리(Deferred Preprocessing)를 통한 VLM 성능 최적화

Kimi-K3 모델에서 이미지 전처리를 실제 연산을 수행하는 GPU(Vision Owner)로 미루어 데이터 전송 오버헤드를 줄이고 TTFT를 최대 78% 개선한 사례를 분석합니다.

#VLM #Optimization #SGLang #Kimi-K3 #Distributed-Computing

2026년 8월 9일

[cpython] CPython 최적화: functools.reduce 대신 Union 직접 사용하기

typing.Union 재구성 시 functools.reduce를 제거하여 성능을 최대 35배 개선했습니다.

#CPython #Python #Performance #Optimization #typing

2026년 8월 7일

[sglang] FLUX.2 모델의 추론 속도 향상: Residual-Gate 커널 최적화

FLUX.2 모델의 residual-gate 연산을 전용 CUDA 커널로 통합하여 추론 속도를 약 1.2% 개선했습니다.

#SGLang #FLUX.2 #CUDA #Optimization #Diffusion

2026년 8월 6일

[onnxruntime] [CUDA] NVFP4 QMoE GEMV 최적화: ALU 바운드 커널의 한계를 넘어서는 방법

NVFP4 양자화 디코딩 속도를 30% 이상 개선하고, MTP 검증 성능을 20배 이상 끌어올린 ONNX Runtime의 최적화 기법을 분석합니다.

#CUDA #ONNXRuntime #LLM #Optimization #NVFP4 #MoE

2026년 8월 6일

[flashinfer] [FlashInfer] Kimi K3 모델을 위한 초고속 Fused KDA Decode 커널 분석 (SM100 최적화)

FlashInfer가 Kimi K3의 핵심 연산들을 하나의 SM100 전용 커널로 통합하여 vLLM 대비 1.13배의 성능 향상을 달성했습니다.

#CUDA #FlashInfer #LLM #Optimization #SM100 #CuTe

2026년 8월 5일

[sglang] SGLang: Wan VAE의 RMSNorm 및 SiLU 연산 융합을 통한 추론 가속

Wan VAE의 RMSNorm과 SiLU 연산을 Triton 커널로 융합하여 DecodingStage 성능을 최대 11.5% 개선했습니다.

#SGLang #Triton #Optimization #Diffusion #VAE

2026년 8월 5일

[triton] Triton AMD GPU 최적화: Warp-based Split-K 도입을 통한 MQA 성능 향상

AMD gfx1250 아키텍처에서 MQA 디코딩 성능을 극대화하기 위해 기존 CTA-based Split-K를 Warp-based로 최적화한 사례 분석.

#Triton #AMD #GPU #Optimization #MQA #HPC

2026년 8월 5일

[sglang] Diffusion DiT 모델의 FFN 성능 최적화: cublasLt GELU Epilogue 융합

Diffusion DiT 모델의 FFN 연산에서 GEMM과 GELU를 융합하여 커널 호출 오버헤드를 줄이고 HBM 접근을 최적화했습니다.

#Diffusion #CUDA #Optimization #SGLang #Performance

2026년 8월 4일

[triton] Triton FPSAN의 MMA 에뮬레이션 오버헤드 최적화 분석

Triton FPSAN에서 불필요한 스크래치 메모리 복사를 제거하여 컴파일 및 런타임 성능을 15-25% 향상시킨 사례를 분석합니다.

#Triton #Compiler #Optimization #GPU #FPSAN

2026년 8월 4일

[hermes-agent] Python 백엔드 콜드 스타트 성능 개선: 14초 GIL 스톨 해결하기

Windows 환경에서 발생하는 14초 규모의 GIL 스톨을 모듈 사전 로딩과 비동기 처리를 통해 해결한 최적화 사례입니다.

#Python #Performance #AsyncIO #GIL #Optimization

2026년 8월 3일

[onnxruntime] [CUDA] QMoE MXFP4/NVFP4 가중치 역양자화 성능 최적화: Coalesced Memory Access의 힘

ONNX Runtime의 QMoE 가중치 역양자화 커널을 Coalesced Memory Access 패턴으로 최적화하여 MoE 모델의 추론 속도를 대폭 향상시킨 PR 분석.

#CUDA #ONNXRuntime #MoE #Optimization #GPU #DeepLearning #FP4 #Dequantization #MemoryAccess

2026년 8월 3일

[sglang] MiniMax-M3 모델을 위한 FP8 Attention GEMM 최적화 및 성능 개선

MiniMax-M3 모델의 FP8 Attention GEMM을 SM100 아키텍처에서 최적화하여 프리필 성능을 최대 66% 향상시켰습니다.

#SGLang #FP8 #Attention #CUDA #Optimization

2026년 8월 1일

[sglang] DeepSeek-V4 Flash 공식 모델 최적화: H200 및 B200을 위한 SGLang 서빙 전략

SGLang v0.5.16에서 DeepSeek-V4 Flash 공식 모델의 H200/B200 최적화 설정과 검증된 벤치마크 결과를 분석합니다.

#SGLang #DeepSeek-V4 #H200 #B200 #LLM-Serving #Optimization

2026년 8월 1일

[flashinfer] FlashInfer FP8 Causal Attention 최적화: O(1) 디코딩과 글로벌 스케줄링의 힘

FlashInfer의 FP8 FMHA v2 커널에서 배치 크기가 클 때 발생하는 병목을 O(1) 디코딩과 글로벌 큐 타일 재배치로 해결하여 최대 5.6x 성능 향상을 달성했습니다.

#CUDA #LLM #FlashInfer #Performance #Optimization #FP8

2026년 7월 31일

[onnxruntime] ONNX Runtime WebGPU EP: 디바이스 없는 오프라인 컴파일 지원

WebGPU EP에서 하드웨어 없이 모델을 최적화하고 직렬화할 수 있는 'Compile-only' 세션 모드를 구현하여 보안 및 샌드박스 환경을 지원합니다.

#ONNXRuntime #WebGPU #Optimization #Compiler #Security

2026년 7월 31일

[vllm] vLLM DeepSeek-V4 성능 최적화: 불필요한 torch.full 커널 제거로 1.88배 속도 향상

DeepSeek-V4의 combine_topk_swa_indices 연산에서 out 텐서를 재사용하여 불필요한 메모리 할당 및 커널 호출을 제거하고 성능을 1.88배 개선했습니다.

#vLLM #DeepSeek-V4 #CUDA #Performance #Optimization

2026년 7월 30일

[vllm] vLLM 컴파일 최적화: Transformers 모델을 위한 FusedAddRMSNorm 도입

Transformers 모델의 잔차 연결과 RMSNorm을 융합하여 메모리 접근을 줄이고 추론 성능을 최대 18% 향상시키는 최적화 기법을 소개합니다.

#vLLM #LLM #Compiler #Optimization #PyTorch #Transformers

2026년 7월 30일

[transformers] Hugging Face Transformers: NoRepeatNGramLogitsProcessor 벡터화 및 성능 최적화

NoRepeatNGramLogitsProcessor의 파이썬 루프와 호스트 동기화를 제거하고 텐서 연산으로 벡터화하여 성능을 대폭 개선했습니다.

#HuggingFace #Transformers #Optimization #PyTorch #Performance

2026년 7월 29일

[triton] Triton JIT의 메모리 누수 방지: Reference Cycle 제거를 통한 성능 최적화

Triton의 compute_cache_key 함수 내 재귀적 클로저를 전역 함수로 리팩토링하여 메모리 참조 사이클을 제거한 사례를 분석합니다.

#Triton #Python #MemoryManagement #Optimization #JIT

2026년 7월 29일

[hermes-agent] SQL GROUP BY를 활용한 세션 통계 쿼리 최적화: 575ms에서 1ms 미만으로

불필요한 데이터 로딩을 제거하고 SQL 집계 함수를 사용하여 대규모 데이터베이스의 API 응답 속도를 500배 이상 개선한 사례를 분석합니다.

#SQL #Performance #Optimization #Python #Database

2026년 7월 28일

[vllm] vLLM Triton 커널 최적화: tl.constexpr 제거를 통한 JIT 컴파일 오버헤드 해결

Triton 커널의 불필요한 constexpr 인자를 런타임 인자로 변경하여 JIT 컴파일 병목을 제거하고 TTFT를 대폭 개선했습니다.

#vLLM #Triton #LLM #Optimization #Performance

2026년 7월 27일

[sglang] SGLang: HPC-Ops 백엔드에서 BF16 디코딩을 위한 동적 스케줄링 도입

HPC-Ops의 동적 스케줄링을 BF16으로 확장하여 불균일한 KV 길이 환경에서 디코딩 성능을 최대 4.3% 향상시켰습니다.

#SGLang #LLM #HPC-Ops #Optimization #CUDA

2026년 7월 27일

[ultralytics] Ultralytics FLOPs 프로파일링 최적화: deepcopy 제거를 통한 성능 향상

모델 복사본 생성 없이 직접 프로파일링하여 FLOPs 계산 속도를 2.5배 향상시킨 최적화 사례를 소개합니다.

#PyTorch #Performance #Optimization #Ultralytics #FLOPs

2026년 7월 26일

[vllm] vLLM KV Offload 최적화: Tensor Parallelism 환경에서 MLA KV 캐시 복제본 제거하기

vLLM에서 Tensor Parallelism 사용 시 MLA KV 캐시 복제본을 제거하여 CPU 메모리 및 D2H 트래픽을 최적화하는 방법을 분석합니다.

#vLLM #KV Cache #Offloading #Tensor Parallelism #MLA #Optimization

2026년 7월 26일

[vllm] vLLM: PyNvVideoCodec 하드웨어 디코더 동시성 최적화로 비디오 처리량 94% 향상

vLLM의 PyNvVideoCodec 디코더 동시성 설정 가능화로 비디오 처리량 최대 94% 개선.

#vLLM #PyNvVideoCodec #GPU #Video Decoding #Optimization #Concurrency #Multimodal

2026년 7월 25일

[onnxruntime] ONNX Runtime: Blackwell (SM120+)에서 NVFP4 QMoE를 위한 네이티브 FP4xFP4 Prefill 최적화

ONNX Runtime이 Blackwell GPU에서 NVFP4 QMoE의 FP4xFP4 prefill 경로를 최적화하고, SM120 빌드 오류를 해결한 PR 분석.

#ONNXRuntime #CUDA #FP4 #Quantization #Blackwell #SM120 #CUTLASS #Optimization #MoE

2026년 7월 24일

[flashinfer] FlashInfer SM103 FP4 GEMM 최적화: Store256 및 Fused Epilogue 도입

SM103 아키텍처에서 256-bit 정렬 스토어와 Fused F32x2 연산을 통해 FP4 GEMM 성능을 최대 16% 향상시킨 기술적 분석.

#FlashInfer #CUDA #GEMM #SM103 #Optimization #CUTLASS

2026년 7월 23일

[sglang] SGLang Mamba 캐시의 상태 손상 및 슬롯 누수 버그 수정

SGLang Mamba 캐시에서 발생하던 요청 상태 손상 및 슬롯 누수 버그를 수정하여 안정성을 높였습니다.

#SGLang #Mamba #Cache #Bug Fix #Optimization #LLM

2026년 7월 23일

[llm-compressor] vLLM LLM-Compressor: CUDA OOM 문제 해결을 위한 메모리 핀닝 최적화

CUDA OOM을 유발하던 무분별한 메모리 핀닝을 지연 핀닝 방식으로 변경하여 대규모 모델의 AWQ 최적화 안정성을 확보했습니다.

#vLLM #LLM-Compressor #CUDA #Memory Management #AWQ #Optimization

2026년 7월 23일

[ray] Ray Serve LLM 인그레스 최적화: 로컬 라우팅을 통한 병목 현상 제거

단일 글로벌 라우터의 병목을 해결하기 위해 HAProxy와 동일 노드에 위치한 라우터로 요청을 분산하고 가용성을 높이는 아키텍처 개선 사항을 분석합니다.

#Ray #Ray Serve #LLM #HAProxy #Optimization #Distributed Systems

2026년 7월 22일

[sglang] SGLang LongCat-Flash Router GEMM 최적화: HPC-Ops bf16xfp32 커널로 H200에서 최대 4.31배 성능 향상

SGLang의 LongCat-Flash 라우터 GEMM을 HPC-Ops 커널로 최적화하여 H200에서 최대 4.31배의 성능 향상을 달성한 과정을 분석합니다.

#SGLang #GEMM #HPC-Ops #bf16 #fp32 #Optimization #DeepLearning #GPU #Hopper

2026년 7월 21일

[ultralytics] PyTorch EMA 업데이트 최적화: _foreach_lerp_를 활용한 성능 개선

ModelEMA 업데이트 시 루프 기반 연산을 batched _foreach_lerp_로 교체하여 성능을 2.2배 향상하고 프로파일링 버그를 해결했습니다.

#PyTorch #Performance #Optimization #EMA #DeepLearning

2026년 7월 21일

[논문리뷰] ISO: An RLVR-Native Optimization Stack

본 논문은 현대의 RLVR 학습이 보상 피드백을 모델 가중치로 변환하는 최적화 계층(optimization layer)을 충분히 이해하지 못한 채 사전 학습(pre-training)의 관습을 그대로 따르고 있다는 문제에서 출발합니다.

#Review #RLVR #Optimization #Spectral Inheritance #Isospectral Optimization #ISO-Merger #ISO-Optimizer #Singular Frames

2026년 7월 21일

[sglang] SGLang ReplaySSM: GDN 추론 최적화 및 메모리 효율 개선

ReplaySSM 도입을 통해 GDN 추론 시 불필요한 SSM 상태 저장을 제거하고, Closed-loop Exact Fold로 정확도를 유지하며 메모리를 6.4배 절감했습니다.

#SGLang #LLM #SpeculativeDecoding #SSM #Optimization

2026년 7월 20일

[ultralytics] MuSGD 최적화: Batched Newton-Schulz와 Fused Kernel로 8배 성능 향상

MuSGD 옵티마이저의 Newton-Schulz 연산을 배치화하고 PyTorch foreach 연산을 도입하여 커널 실행 오버헤드를 획기적으로 줄였습니다.

#PyTorch #Optimization #DeepLearning #CUDA #Performance

2026년 7월 19일

[openclaw] 프론트엔드 성능 최적화: 엔트리 CSS 번들 다이어트와 코드 스플리팅 전략

엔트리 CSS에서 불필요한 스타일을 제거하고 레이지 로딩 모듈로 분리하여 초기 로딩 성능을 42KB에서 36KB로 개선한 사례를 분석합니다.

#Frontend #Performance #CSS #CodeSplitting #Optimization

2026년 7월 18일

[sglang] [SGLang] VLM 추론 성능의 비약적 향상: Cross-request ViT Batching과 Metadata 재사용 기법

SGLang에서 여러 VLM 요청의 이미지를 한 번에 처리하고, 불필요한 CPU-GPU 동기화를 제거하여 TTFT를 최대 26% 개선한 최적화 사례를 분석합니다.

#VLM #SGLang #LLM-Inference #CUDA #PyTorch #Optimization

2026년 7월 18일

[sglang] SGLang DFlash 최적화: 호스트-디바이스 동기화 제거를 통한 추론 성능 향상

DFlash의 단계별 호스트 동기화를 제거하여 CPU가 한 단계 앞서 실행되도록 최적화, 최대 13%의 토큰 처리량 향상을 달성했습니다.

#SGLang #LLM #CUDA #Optimization #Triton

2026년 7월 18일

[onnxruntime] ONNX Runtime: Arm64 KleidiAI 기반 FP16 GEMM 및 Convolution 최적화

Arm64 환경에서 KleidiAI를 활용한 FP16 GEMM 및 Convolution 연산 가속화 및 MLAS API 확장

#ONNX Runtime #Arm64 #KleidiAI #FP16 #Optimization

2026년 7월 17일

[onnxruntime] ONNX Runtime: AVX2 및 AVX-VNNI를 위한 2-bit 가중치 CPU 커널 최적화

AVX2/AVX-VNNI 환경에서 2-bit 가중치 MatMul 성능을 개선하여 기존 dequant+SGEMM 대비 최대 1.56배 성능 향상을 달성했습니다.

#ONNX Runtime #MLAS #AVX2 #VNNI #Optimization #MatMul

2026년 7월 17일

[sglang] SGLang SM100 CuteDSL Prefill 최적화: State I/O의 커널 퓨전

CuteDSL prefill 커널에서 불필요한 state gather/scatter를 제거하고 커널 내에서 직접 I/O를 수행하여 성능을 극대화했습니다.

#SGLang #CUDA #Optimization #CuteDSL #SM100

2026년 7월 16일

[flashinfer] FlashInfer의 FP4 GEMM 최적화: 휴리스틱 개선과 Autotuning 효율화

FlashInfer의 mm_fp4(cute-dsl) 연산에서 휴리스틱 기반 랭킹과 Top-N Autotuning을 도입하여 컴파일 시간을 획기적으로 단축했습니다.

#FlashInfer #GEMM #CUDA #Optimization #LLM #Autotuning

2026년 7월 15일

[ultralytics] [Ultralytics] NDJSON 변환 최적화: 보안과 성능을 동시에 잡는 설계 전략

NDJSON 데이터셋 변환 시 발생하던 경로 보안 취약점과 성능 병목을 해결하고, 8배 빠른 속도를 달성한 Ultralytics의 최적화 기법을 분석합니다.

#Python #Ultralytics #Optimization #Security #PathTraversal #Performance

2026년 7월 15일

[cutlass] NVIDIA Hopper에서 FP8 GEMM + GELU 퓨전 최적화: CuTe DSL 활용

Hopper GPU에서 FP8 GEMM과 GELU를 퓨전하여 성능을 최적화하고 유연성을 확보하는 기술 분석.

#NVIDIA #Hopper #CuTeDSL #GEMM #FP8 #GELU #Optimization #CUDA #Deep Learning

2026년 7월 14일

[vllm] vLLM의 FlashInfer MNNVL AllReduce RMSNorm 양자화 융합 최적화

vLLM에서 FlashInfer의 MNNVL 백엔드를 활용해 AllReduce와 RMSNorm 양자화 융합을 활성화하여 성능을 개선하는 방법.

#vLLM #FlashInfer #MNNVL #AllReduce #Optimization

2026년 7월 13일

[axolotl] Axolotl의 SinkGD 최적화: Triton 커널과 스펙트럼 정규화로 성능 극대화

SinkGD 옵티마이저에 도입된 Triton 커널, 스펙트럼 정규화, 그리고 MD-sphere 기법을 통한 학습 효율 및 속도 개선 분석.

#Axolotl #SinkGD #Triton #DeepLearning #Optimization

2026년 7월 12일

[vllm] vLLM에서 Qwen MoE 모델의 All-Reduce를 Reduce-Scatter로 최적화하기

vLLM의 Qwen MoE 모델에서 불필요한 All-Reduce 연산을 Reduce-Scatter로 대체하여 통신 오버헤드를 줄이고 성능을 개선했습니다.

#vLLM #LLM #MoE #Distributed Training #Optimization

2026년 7월 12일

[vllm] vLLM 하이브리드 모델을 위한 혁신: Partial Prefix Cache Hit 구현 분석

vLLM이 하이브리드 모델(Mamba+Attention)에서 물리 블록보다 작은 단위의 캐시 히트를 지원하여 추론 지연시간을 약 30% 단축한 기술적 비결을 살펴봅니다.

#vLLM #LLM-Inference #Prefix-Caching #Mamba #Hybrid-Model #Optimization

2026년 7월 12일

[ray] [Ray 최적화] 액터 제출 병목 현상 해결: Placement Group 번들 정보 캐싱으로 GCS 부하 줄이기

Ray 액터 제출 시 GCS 쿼리 병목을 해결하기 위해 Placement Group 번들 정보를 로컬 캐싱하여 성능을 대폭 개선한 최적화.

#Ray #Optimization #Performance #GCS #PlacementGroup #Actor #Scalability #Python

2026년 7월 10일

[uv] uv의 휠 태그 호환성 검사 최적화: 불필요한 메모리 할당 제거하기

uv의 휠 태그 호환성 검사 과정에서 발생하는 불필요한 Vec 할당을 제거하여 성능을 최대 5.6배 개선한 사례를 분석합니다.

#Rust #uv #Performance #Optimization #Packaging

2026년 7월 7일

[triton] Triton: Blackwell 아키텍처를 위한 TMEM Load-Reduce 연산 퓨전 최적화

Blackwell sm103+ GPU에서 TMEM Load와 Row Reduction을 단일 PTX 명령어로 퓨전하여 성능을 개선했습니다.

#Triton #Blackwell #GPU #Optimization #Compiler

2026년 7월 7일

[vllm] vLLM 성능 최적화: token_to_req_indices 캐싱을 통한 6배 성능 향상

vLLM에서 중복되던 CPU-GPU 간 데이터 복사를 제거하여 커널 성능을 5~6배 개선한 최적화 사례를 분석합니다.

#vLLM #LLM #Performance #Optimization #CUDA

2026년 7월 6일

[vllm] vLLM Transformers Modeling Backend 성능 최적화: 네이티브 수준의 속도 달성

Transformers 모델링 백엔드에 Fused Linear와 MoE 최적화를 도입하여 vLLM 네이티브 수준의 성능을 구현한 기술적 분석.

#vLLM #LLM #Optimization #Transformers #PyTorch

2026년 7월 6일

[axolotl] Qwen3.5 성능 극대화: PEFT의 불필요한 Dtype 캐스팅 제거와 LoRA 커널 퓨전

Qwen3.5의 GatedDeltaNet 레이어에서 발생하는 불필요한 메모리 복사 부하를 줄여 학습 속도를 최대 5.9% 향상시킨 Axolotl의 최적화 기법을 분석합니다.

#LLM #LoRA #Optimization #PyTorch #Axolotl #Qwen3.5

2026년 7월 5일

[uv] uv의 패키지 설치 성능 최적화: 불필요한 site-packages 스캔 제거

uv가 설치 시 모든 패키지를 스캔하던 문제를 해결하여 대규모 환경에서 설치 속도를 최대 21.5% 개선했습니다.

#uv #Rust #Python #Performance #Optimization

2026년 7월 5일

[uv] Interning을 통한 uv의 Simple API 파싱 최적화: 메모리와 속도 두 마리 토끼 잡기

중복되는 requires-python 명세서를 Interning하여 메모리 사용량을 10% 줄이고 파싱 속도를 개선한 uv의 최적화 기법을 살펴봅니다.

#Rust #Optimization #uv #Python #Interning #Performance

2026년 7월 4일

[sglang] Intel XPU를 위한 고성능 그래프 캡처 및 리플레이 지원 구현

SGLang에 Intel XPU 그래프 캡처 기능을 도입하여 커널 실행 오버헤드를 줄이고 추론 성능을 최적화했습니다.

#SGLang #XPU #LLM #Optimization #CUDA-Graph

2026년 7월 2일

[ultralytics] RT-DETR의 CoreML 추론 성능 최적화: ComputeUnit.ALL 전략 도입

RT-DETR 모델의 CoreML 추론 시 발생하는 FP16 정확도 저하와 속도 문제를 메타데이터 기반의 ComputeUnit.ALL 라우팅으로 해결했습니다.

#Ultralytics #CoreML #RT-DETR #Optimization #Apple Silicon

2026년 7월 2일

[triton] Triton 커널 최적화: 불필요한 텐서 메모리 할당 제거하기

Triton의 reduce_launch_metadata에서 발생하는 대규모 중간 텐서 생성 문제를 해결하여 메모리 효율성을 개선한 사례를 분석합니다.

#Triton #GPU #Optimization #MemoryManagement #DeepLearning

2026년 7월 2일

[ray] Ray Object Manager의 Pull RPC 배치 처리 최적화 분석

Ray의 PullManager에서 개별 객체 요청을 배치 RPC로 통합하여 네트워크 오버헤드와 CPU 사용량을 획기적으로 개선한 사례를 분석합니다.

#Ray #Distributed Systems #RPC #Optimization #C++

2026년 7월 1일

[uv] uv, SIMD 가속 TOML 파싱으로 성능 향상

uv가 SIMD 가속 TOML 파싱 기능을 활성화하여 파싱 속도를 개선했습니다.

#Rust #Performance #Optimization #SIMD #TOML #uv

2026년 7월 1일

[sglang] DeepSeek NextN을 위한 Fused EH Norm 최적화: 커널 융합으로 성능 극대화하기

DeepSeek 모델의 EH Norm 연산을 커널 융합(Kernel Fusion)으로 최적화하여 연산 효율을 대폭 개선했습니다.

#SGLang #DeepSeek #CUDA #KernelFusion #Optimization

2026년 7월 1일

[axolotl] Axolotl에 도입된 Stateless 최적화: SinkGD로 메모리 효율 극대화하기

SinkGD를 통해 LLM 학습 시 옵티마이저 상태 메모리를 87% 절감하고 성능을 유지하는 최적화 기법을 분석합니다.

#LLM #Optimization #SinkGD #PyTorch #Axolotl

2026년 6월 30일

[sglang] [NPU] GLM-4.7-Flash 성능 최적화: Fused Triton 커널로 연산 병목 해결하기

Split과 RMSNorm 연산을 하나로 합친 Fused Kernel을 도입하여 GLM-4.7-Flash 모델의 NPU 추론 성능을 대폭 개선했습니다.

#NPU #Triton #Optimization #DeepSeek-V2 #SGLang #LLM Inference

2026년 6월 30일

[onnxruntime] ONNX Runtime QMoE SwiGLU GEMV 최적화: Split-K2 커널로 LLM 추론 가속화

ONNX Runtime의 Split-K2 SwiGLU GEMV 커널로 QMoE FC1 레이어 성능을 개선합니다.

#ONNXRuntime #CUDA #GEMV #Split-K2 #LLM #Optimization #SwiGLU #QMoE

2026년 6월 30일

[open-webui] Open WebUI 성능 최적화: Svelte 컴포넌트에서 불필요한 HTML 재정제 방지

Svelte 컴포넌트에서 스트리밍 업데이트 시 불필요한 HTML 재정제를 방지하여 렌더링 성능을 크게 개선합니다.

#Svelte #Performance #Optimization #DOMPurify #Frontend #WebUI

2026년 6월 29일

[논문리뷰] Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)

본 연구는 고정된 공간 내에서 가구를 가장 효율적으로 배치하고 조립 순서를 최적화해야 하는 NP-hard 범주의 복합적 문제를 해결하고자 합니다. 기존의 단순 배치 알고리즘은 가구 간의 기하학적 간섭(Interference)과 조립 단계의 Latency를 적절히 처리하지 못하는 한계가 있었습니다.

#Review #Furniture Assembly #Optimization #Heuristic Search #LeHome Challenge #Computational Geometry

2026년 6월 28일

[vllm] vLLM ROCM 최적화: GLM-4 MoE를 위한 Fused Shared Expert(FSE) 도입

GLM-4 MoE 모델의 공유 전문가(Shared Expert)를 FusedMoE 커널로 통합하여 추론 성능을 최대 22% 향상시켰습니다.

#vLLM #ROCm #MoE #Performance #Optimization

2026년 6월 28일

[sglang] SGLang LTX-2.3 Diffusion 모델 최적화: Residual-Gate 연산 CUDA Fast Path 도입

SGLang LTX-2.3 모델의 핵심 연산인 residual-gate update를 CUDA 커널로 최적화하여 성능을 크게 향상시켰습니다.

#SGLang #CUDA #Optimization #Diffusion Models #Deep Learning #Performance

2026년 6월 27일

[vllm] vLLM의 GLM5.2 성능 최적화: Triton 커널 융합을 통한 E2E Throughput 향상

Triton 커널 융합으로 Q RoPE, FP8 양자화, 스케일 폴딩을 통합하여 추론 성능을 최대 3.3% 개선했습니다.

#vLLM #Triton #LLM #Optimization #FP8

2026년 6월 27일

[vllm] vLLM, DeepSeek V4 모델 성능 최적화: AITER MXFP4 BF16 백엔드 개선

vLLM에서 DeepSeek V4 모델의 성능을 향상시키기 위한 AITER MXFP4 BF16 백엔드 최적화 분석

#vLLM #DeepSeekV4 #LLM #Performance #Optimization #ROCm #AITER #MXFP4

2026년 6월 26일

[vllm] vLLM ROCm 환경에서 Shared-Expert Fusion을 통한 MoE 추론 성능 최적화

MiniMax-M3 모델의 공유 전문가(Shared-expert)를 라우팅된 그룹 GEMM에 통합하여 추론 지연 시간을 최대 30% 개선했습니다.

#vLLM #ROCm #MoE #Performance #Optimization

2026년 6월 26일

[sglang] SGLang의 Qwen3.5 성능 극대화: Fused QK GemmaRMSNorm + RoPE 커널 최적화 분석

Qwen3.5 모델의 어텐션 레이어 연산을 Triton 커널로 통합하여 메모리 접근을 줄이고 추론 성능을 최대 9.4% 향상시킨 최적화 기법을 소개합니다.

#SGLang #Triton #LLM #Optimization #Qwen3.5

2026년 6월 25일

[sglang] SGLang 성능 최적화: D2H 복사 연산의 비동기 오버랩 구현

SGLang에서 D2H(Device-to-Host) 복사를 별도 스트림으로 분리하여 추론 성능을 향상시킨 최적화 사례 분석.

#SGLang #CUDA #Performance #Optimization #LLM

2026년 6월 24일

[axolotl] Axolotl, 대규모 언어 모델 학습 시 메모리 부족 문제 해결: 효율적인 데이터셋 처리 개선

Axolotl 라이브러리에서 대규모 SFT 데이터셋 로딩 시 발생하는 RAM OOM 오류를 해결하는 코드 변경 사항을 분석합니다.

#Python #PyTorch #Hugging Face Datasets #Optimization #LLM

2026년 6월 24일

[onnxruntime] ONNX Runtime: MoE Router GEMV 최적화 및 Bias Fusion 구현

GPT-OSS-20B 모델의 MoE 라우터 성능 향상을 위해 MatMulNBits 커널에 특화된 GEMV 경로와 Bias Fusion을 도입했습니다.

#ONNX Runtime #CUDA #MoE #GEMV #Optimization

2026년 6월 24일

[vllm] vLLM Qwen3-VL 멀티 비디오 프롬프트 처리 최적화 분석

텍스트 기반 프롬프트 확장 방식을 토큰 수준 치환으로 변경하여 성능 향상 및 EVS 버그를 해결했습니다.

#vLLM #Qwen3-VL #Optimization #LLM #Multimodal

2026년 6월 20일

[axolotl] Axolotl, Marlin W4A16 도입으로 MoE 모델 추론 속도 1.79배 향상 및 품질 개선

Axolotl이 Marlin W4A16 백엔드를 도입하여 MoE 모델의 추론 속도를 1.79배 높이고, 활성화 양자화 오류를 제거하여 모델 품질을 향상시켰습니다.

#Axolotl #Marlin #MoE #DeepSeek-V4 #W4A16 #BF16 #Quantization #Optimization #Deep Learning #LLM

2026년 6월 20일

[sglang] SGLang LTX-2 최적화: LoRA 병합 오버헤드 제거를 통한 추론 성능 향상

LTX-2 모델의 stage-1 distilled LoRA를 베이스 모델에 사전 병합하여, 요청마다 발생하는 병합/해제 오버헤드를 제거했습니다.

#SGLang #LTX-2 #LoRA #Optimization #Inference

2026년 6월 19일

[cpython] CPython의 PyCriticalSection2 최적화: 중복 락 획득 방지

CPython의 PyCriticalSection2에서 이미 획득한 락을 재귀적으로 다시 획득하지 않도록 최적화하여 성능을 개선했습니다.

#CPython #Concurrency #Optimization #Locking #Internals

2026년 6월 19일

[cpython] CPython 3.14: PyCriticalSection2의 동일 락 재획득 방지 최적화 분석

CPython 3.14에서 PyCriticalSection2의 동일 락 재획득 방지 최적화 분석 및 그 의미를 살펴봅니다.

#Python #CPython #Optimization #Concurrency #Critical Section

2026년 6월 19일

[triton] Triton Autotuner 최적화: Pruned Config가 하나일 때 불필요한 벤치마크 생략하기

Triton Autotuner에서 설정이 하나로 압축될 경우, 불필요한 벤치마킹 과정을 건너뛰어 성능을 개선한 사례를 분석합니다.

#Triton #Autotuner #Performance #Optimization #Compiler

2026년 6월 18일

[vllm] vLLM Mooncake KV 오프로딩 최적화: 불필요한 KV 조회 건너뛰기

vLLM의 Mooncake KV 오프로딩 성능 향상: 불필요한 KV 조회 건너뛰고 스토리지 오버헤드 감소

#vLLM #LLM #KV Cache #Optimization #Performance

2026년 6월 18일

[sglang] SGLang의 Linear-Attention 성능 최적화: int8 체크포인트 풀 도입

Linear-attention 모델의 Radix 캐시 효율을 int8 양자화로 2배 높여, 메모리 제약 없이 더 많은 프리픽스를 재사용하는 최적화 기법.

#SGLang #Linear-Attention #Optimization #Quantization #LLM

2026년 6월 18일

[vllm] vLLM에서 Flashinfer 기반 Non-gated MoE bf16 지원 최적화 분석

vLLM의 Flashinfer-TRTLLM 백엔드에 Non-gated MoE bf16 지원을 추가하여 성능을 약 15% 향상시킨 기술적 변경사항을 분석합니다.

#vLLM #MoE #Flashinfer #DeepLearning #Optimization

2026년 6월 17일

[onnxruntime] ONNX Runtime WebGPU: Reduce 연산 최적화를 통한 성능 향상

WebGPU 환경에서 ReduceMean 연산 시 발생하는 불필요한 Transpose 오버헤드를 제거하여 모델 추론 속도를 개선한 사례를 분석합니다.

#ONNXRuntime #WebGPU #Optimization #Performance #GPGPU

2026년 6월 16일

[cpython] CPython unicodedata.normalize() 최적화: Py_UCS4 버퍼 직접 조작으로 성능 향상

unicodedata.normalize()의 정렬 로직을 Py_UCS4 버퍼 직접 조작으로 최적화하여 성능을 개선합니다.

#Python #CPython #Optimization #Unicode #Performance #C

2026년 6월 15일

[sglang] SGLang: DeepSeek-R1 FP8 GEMM 성능 회귀 문제 해결 및 최적화

FP8 GEMM 연산 시 불필요한 Triton fallback을 제거하여 DeepSeek-R1 모델의 추론 성능을 복구했습니다.

#SGLang #DeepSeek-R1 #FP8 #GEMM #Optimization

2026년 6월 15일

[transformers] Hugging Face Transformers: logits_to_keep을 활용한 메모리 최적화

모델 내부에서 logits을 미리 슬라이싱하여 메모리 사용량을 줄이고 추론 처리량을 개선하는 최적화 기법을 소개합니다.

#HuggingFace #Transformers #LLM #Optimization #DeepLearning

2026년 6월 15일

[sglang] SGLang의 긴 문맥 처리 최적화: fill_ids 재구성 오버헤드 줄이기

RadixKey에 limit을 도입하여 불필요한 메모리 복사를 제거하고 긴 문맥 추론 성능을 개선한 사례 분석.

#SGLang #LLM #Optimization #Python #Performance

2026년 6월 14일

[sglang] [SGLang] VAE 병렬 디코딩 최적화: CFG 병렬화와의 시너지 분석

SGLang에서 CFG 병렬화 시 VAE 디코딩을 모든 Rank가 참여하도록 개선하여 디코딩 속도를 31% 향상시킨 사례를 분석합니다.

#Diffusion #SGLang #VAE #Parallel Computing #Optimization

2026년 6월 13일

[sglang] SGLang PD-Disaggregation 최적화: Mori 백엔드에서의 증분 KV 전송 구현

SGLang의 PD-Disaggregation 환경에서 Mori 전송 백엔드와 Radix Cache를 연동하여 중복 KV 전송을 제거하고 TTFT를 20% 이상 개선했습니다.

#SGLang #LLM #KV-Cache #Optimization #Distributed-Systems

2026년 6월 13일

[sglang] Apple Silicon MLX 환경에서 SwitchGLU MoE 블록의 SwiGLU 활성화를 Gate Gather-QMV로 융합하여 성능 최적화

Apple Silicon MLX 환경에서 SwitchGLU MoE 블록의 SwiGLU 활성화를 Gate Gather-QMV로 융합하여 성능 최적화하는 PR 분석

#Apple Silicon #MLX #MoE #Optimization #SGLang

2026년 6월 13일

[vllm] vLLM에서 Lfm2VL 모델을 위한 Encoder CUDA Graph 최적화 적용

Lfm2VL 모델에 Encoder CUDA Graph를 도입하여 낮은 배치 사이즈에서 추론 지연 시간을 10-20% 개선했습니다.

#vLLM #CUDA Graph #LLM #Optimization #Performance

2026년 6월 12일

[sglang] SGLang Diffusion 모델의 FP8 GEMM 최적화: 41.5% 성능 향상 달성

Ideogram4 모델의 FP8 weight-only linear 연산을 Fused W8A8 FP8 GEMM으로 교체하여 추론 속도를 1.7배 개선했습니다.

#SGLang #Diffusion #FP8 #GEMM #Optimization #CUDA

2026년 6월 11일

[sglang] SGLang에서 DP Attention, TBO, Shared Experts Fusion 동시 최적화 구현

DP Attention, TBO, Shared Experts Fusion을 통합하여 DeepSeek 모델의 추론 성능을 약 2.5% 향상시킨 기술적 해결 과정.

#SGLang #DeepSeek #LLM #Optimization #DistributedInference

2026년 6월 10일

[sglang] SGLang LTX-2 VAE 디코딩 성능 최적화: channels_last_3d 도입으로 4.5배 속도 향상

LTX-2 VAE 디코딩 과정에서 channels_last_3d 메모리 레이아웃을 적용하여 Conv3d 연산 속도를 4.5배 높이고 메모리 사용량을 13.5% 절감했습니다.

#SGLang #DeepLearning #Optimization #VAE #CUDA

2026년 6월 9일

[transformers] Hugging Face Transformers: 멀티프로세싱 풀 재사용을 통한 모듈식 변환 성능 최적화

멀티프로세싱 풀을 매번 생성하지 않고 재사용함으로써 모듈식 변환 속도를 약 50% 향상시킨 사례를 분석합니다.

#Python #Performance #Multiprocessing #HuggingFace #Optimization

2026년 6월 9일

[transformers] [Hugging Face] n-to-1 커널 퓨전과 파라미터 변환: KernelConfig API의 진화

Transformers 모델의 성능 극대화를 위한 모듈 퓨전 및 가중치 레이아웃 변환 자동화 기법 분석

#HuggingFace #Transformers #KernelFusion #PyTorch #Optimization

2026년 6월 9일

[sglang] SGLang의 Spectral Progressive Diffusion 도입: 추론 속도 최대 2.78배 향상

Transformer의 O(n²) 연산 비용을 혁신적으로 줄이는 Spectral Progressive Diffusion 기술 분석

#SGLang #Diffusion #Optimization #Transformer #GPU

2026년 6월 8일

[triton] [AMD Triton] LLVM InstCombine의 함정을 피하는 법: TDM 텐서 클램핑 최적화

LLVM의 InstCombine이 유발하는 불필요한 VALU 연산과 v_readfirstlane 오버헤드를 방지하기 위한 TDM 디스크립터 생성 로직 개선 사례를 살펴봅니다.

#Triton #AMD #LLVM #GPU #Optimization #Codegen

2026년 6월 8일

[cpython] Python re 모듈의 findall, sub, subn 성능 개선: PyList_AppendTakeRef 도입

Python re 모듈의 findall, sub, subn 함수에서 리스트 생성 시 불필요한 참조 카운트 연산을 제거하여 성능을 개선했습니다.

#Python #CPython #Performance #Regex #Optimization

2026년 6월 7일

[cpython] CPython 내부 최적화: Reference Stealing을 통한 Frame Locals 수집 속도 향상

CPython의 frame.f_locals.items() 성능을 4% 향상시킨 Reference Stealing 기법과 내부 API 최적화 분석

#Python #CPython #Optimization #C-API #ReferenceCounting

2026년 6월 7일

[sglang] SGLang의 Ideogram4 추론 성능 최적화: Denoising 루프 내 오버헤드 제거

Ideogram4 모델의 Denoising 루프에서 반복적으로 수행되던 마스크 메타데이터 생성 및 스케줄 계산을 사전 연산으로 최적화하여 성능을 개선했습니다.

#SGLang #Diffusion #Optimization #Performance #Ideogram4

2026년 6월 7일

[vllm] vLLM의 GDN 어텐션 최적화: Prefill과 Decode 배치 분리를 통한 2배 성능 향상

Mixed 배치에서 Prefill과 Decode를 분리하여 GDN 어텐션 연산 효율을 극대화하고 1.93배의 커널 속도 향상을 달성했습니다.

#vLLM #LLM #Performance #Optimization #CUDA #GDN

2026년 6월 6일

[sglang] UniPC 스케줄러에서 GPU 동기화 제거를 통한 성능 최적화 분석

UniPC 스케줄러의 GPU 동기화 오버헤드를 제거하여 성능을 개선한 코드 변경 분석.

#PyTorch #Optimization #GPU #UniPC Scheduler #sglang

2026년 6월 6일

[hermes-agent] CLI 사용자 경험 개선: 백그라운드 캐시 워밍을 통한 모델 선택기 응답 속도 최적화

사용자 입력 전 백그라운드에서 모델 캐시를 미리 로드하여 /model 명령어 응답 시간을 1.5초에서 136ms로 단축했습니다.

#Python #Performance #CLI #Optimization #Async

2026년 6월 5일

[sglang] [SGLang] LingBot 실시간 서빙 최적화: 카메라 컨디셔닝 캐싱과 전송 프로토콜 개선

LingBot의 실시간 지연시간을 10% 이상 단축시킨 카메라 컨디셔닝 캐싱 및 전송 레이어 최적화 기법을 살펴봅니다.

#SGLang #Diffusion #Optimization #Realtime #PyTorch #Performance

2026년 6월 5일

[cpython] CPython 내부 들여다보기: logging.getLogger()는 어떻게 33% 더 빨라졌나?

CPython의 logging 모듈이 락 프리(lock-free) 패스트 패스를 도입하여 기존 로거 조회 성능을 33% 개선한 과정을 분석합니다.

#Python #CPython #Performance #Optimization #Logging

2026년 6월 4일

[flashinfer] FlashInfer의 MoE Routing 성능 최적화: Batcher's Odd-Even Merge Sort 도입

FlashInfer의 MoE Top-K 연산에서 64비트 리덕션 최적화 및 비-2의 거듭제곱 정렬을 Batcher's 네트워크로 개선하여 성능을 극대화했습니다.

#FlashInfer #CUDA #MoE #Optimization #GPU #Sorting

2026년 6월 4일

[ray] Ray Data의 hash_partition 성능을 7배 향상시킨 최적화 전략

PyArrow의 sort_indices와 zero-copy 슬라이싱을 활용하여 Ray Data의 hash_partition 성능을 대폭 개선한 사례를 분석합니다.

#Ray #PyArrow #Performance #DataEngineering #Optimization

2026년 6월 4일

[vllm] [ROCm CI 최적화] Docker 3단계 빌드 전략으로 빌드 시간 26분 단축하기

vLLM 프로젝트의 ROCm CI 빌드 시간을 획기적으로 단축하기 위해 도입된 3단계 Docker 빌드 아키텍처와 Content-addressed 캐싱 기법을 심층 분석합니다.

#vLLM #ROCm #Docker #CI/CD #Buildkite #Optimization

2026년 6월 3일

[transformers] Hugging Face Transformers: Slow Tokenizer 성능 회귀 문제 해결하기

PreTrainedTokenizer의 O(T*N*logN) 성능 저하 문제를 O(T)로 복구한 최적화 사례 분석

#HuggingFace #Transformers #Python #Optimization #Tokenizer

2026년 6월 3일

[transformers] Hugging Face Transformers: SequenceFeatureExtractor.pad() 최적화로 불필요한 NumPy 배열 재변환 제거

Hugging Face Transformers의 SequenceFeatureExtractor.pad() 메서드에서 NumPy 배열의 불필요한 재변환을 제거하여 성능을 개선했습니다.

#Python #NumPy #Performance #Hugging Face Transformers #Optimization

2026년 6월 2일

[flashinfer] FlashInfer FP8 KV-Cache Prefill 성능 최적화: Repacking 기법을 통한 오버헤드 제거

FP8 KV-cache의 dequantization 오버헤드를 BF16 staging buffer로 제거하여 Prefill 성능을 최대 1.3배 향상시켰습니다.

#FlashInfer #CUDA #FP8 #LLM #Optimization

2026년 6월 2일

[sglang] SGLang의 NIXL 통신 최적화: Prep+Make API 도입을 통한 KV 캐시 전송 성능 향상

NIXL의 Prep+Make API를 활용해 KV 캐시 전송 시 디스크립터 재구성을 방지하여 TTFT를 최대 27% 개선했습니다.

#SGLang #LLM #KV-Cache #Optimization #Distributed-Systems

2026년 6월 2일

[vllm] vLLM의 FP8 Scaled MM 최적화: Padding 제거를 통한 20% 성능 향상

vLLM에서 FP8 행렬 곱셈 시 불필요한 Padding을 제거하여 커널 성능을 약 20% 개선한 사례를 분석합니다.

#vLLM #CUDA #Optimization #FP8 #DeepLearning

2026년 6월 1일

[uv] uv의 로컬 휠(Wheel) 압축 해제 성능 회귀 문제 해결: astral_async_zip 버전 업데이트

astral_async_zip 라이브러리의 버전을 rc4에서 정식 버전으로 업데이트하여 로컬 휠 압축 해제 성능 저하를 해결한 사례를 분석합니다.

#Rust #uv #Performance #Optimization #Packaging

2026년 6월 1일

[cpython] tarfile 스트리밍 모드(r|*) 성능 개선: 파이썬 압축 파일 처리의 숨겨진 병목 제거

tarfile 모듈의 r|* 모드에서 발생하던 비효율적인 버퍼링 문제를 해결하여 압축 파일 읽기 성능을 획기적으로 개선한 PR 분석.

#Python #tarfile #Performance #Optimization #CPython #Compression #Streaming

2026년 5월 30일

[sglang] SGLang 스케줄러 최적화: input_ids H2D 지연 처리 및 FutureMap 통합

SGLang의 prefill input_ids H2D를 forward stream으로 지연시키고 FutureMap을 통해 입력을 통합하여 스케줄링 효율을 개선했습니다.

#SGLang #LLM #Scheduler #Optimization #CUDA

2026년 5월 30일

[vllm] [vLLM] MiniMax-M2 MoE Gate 최적화: Fused FP32 Kernel로 서빙 성능 32% 향상시키기

vLLM에서 MiniMax-M2 모델의 MoE Gate 연산을 Fused Kernel로 최적화하여 저지연 환경의 성능을 대폭 개선한 사례를 분석합니다.

#vLLM #CUDA #MoE #Optimization #MiniMax-M2 #LLM Serving

2026년 5월 30일

[sglang] sglang ROCm MXFP4 어텐션에서 불필요한 contiguous copy 제거를 통한 성능 최적화

ROCm 환경의 MXFP4 디코딩 경로에서 발생하는 불필요한 메모리 복사를 제거하여 성능을 개선한 PR 분석입니다.

#sglang #ROCm #MXFP4 #Attention #Optimization #Performance #Deepseek

2026년 5월 29일

[flashinfer] FlashInfer MLA 커널 최적화: num_heads < 128 환경에서의 성능 극대화

Blackwell GPU에서 MLA 디코드 커널의 num_heads < 128 성능을 개선하기 위해 seqlen_q를 헤드 차원으로 폴딩하는 최적화 기법을 소개합니다.

#FlashInfer #GPU #MLA #Optimization #Blackwell #CUDA

2026년 5월 29일

[feast] Feast Feature Server의 직렬화 성능 4배 향상: MessageToDict 최적화

Feast의 Feature Server에서 Protobuf 직렬화 병목을 해결하기 위해 커스텀 dict 빌더를 도입하여 성능을 4배 개선한 사례를 분석합니다.

#Feast #Python #Protobuf #Performance #Optimization

2026년 5월 28일

[triton] [Triton] Persistent Matmul 성능을 13% 향상시킨 정교한 Shared Memory 계산 기법 분석

Shared Memory 계산 휴리스틱을 개선하여 TF32 Matmul에서 4-stage 파이프라이닝을 활성화하고 GB200 성능을 13% 끌어올린 사례를 분석합니다.

#Triton #GPU #CUDA #Matmul #Optimization #Deep Learning

2026년 5월 27일

[논문리뷰] Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration

본 논문은 LLM post-training 과정에서 MTP와 RL objectives를 공동으로 학습할 때 발생하는 심각한 성능 저하 문제를 해결하고자 한다.

#Review #Multi-Token Prediction #Reinforcement Learning #Optimization #Optimal Coefficient Calibration #Large Language Models #Mathematical Reasoning

2026년 5월 27일

[cpython] Python의 os.fork 후 발생하던 성능 프로파일링 충돌 문제 해결 및 최적화 분석

os.fork 후 발생하던 CPython의 성능 프로파일링 충돌 문제를 해결하고, 코드 재사용성을 높인 최적화 분석.

#Python #CPython #Performance #Optimization #fork #Profiling

2026년 5월 25일

[sglang] SGLang Diffusion 최적화: CFG Gating을 통한 추론 속도 20% 향상

Classifier-free guidance(CFG)의 불필요한 연산을 줄이는 CFG Gating 기법을 도입하여 Denoising 단계의 성능을 25% 개선했습니다.

#SGLang #Diffusion #Optimization #LLM #Inference

2026년 5월 25일

[논문리뷰] Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

본 논문은 Muon 옵티마이저가 사전 학습(Pretraining) 단계를 넘어선 하류 태스크(Downstream tasks), 특히 VLA 및 RLVR 환경에서 성능 저하를 보이는 근본적인 이유를 규명합니다.

#Review #Muon #Pretraining #Spectral Analysis #VLA #RLVR #Optimization #Deep Learning

2026년 5월 24일

[sglang] SGLang VLM 최적화: CUDA IPC Staging 오버헤드 제거를 통한 성능 향상

VLM 입력 처리 시 불필요한 CUDA IPC 스테이징을 제거하여 TTFT 및 E2E 지연 시간을 개선한 최적화 사례입니다.

#SGLang #VLM #CUDA #Optimization #Performance

2026년 5월 24일

[vllm] vLLM DeepSeek V4 ROCm MTP 지원: 하드웨어 최적화와 추론 성능 향상

DeepSeek V4 모델의 ROCm MTP 지원을 통해 추론 성능을 크게 향상시킨 vLLM PR 분석.

#vLLM #ROCm #DeepSeekV4 #MTP #SpeculativeDecoding #Triton #FP8 #Optimization

2026년 5월 24일

[cpython] CPython의 PySequence_GetSlice 성능 개선: 불필요한 참조 카운트 연산 제거

CPython의 PySequence_GetSlice 함수에서 불필요한 참조 카운트 증가/감소 연산을 제거하여 성능을 개선했습니다.

#Python #CPython #Performance #Optimization #C API

2026년 5월 23일

[vllm] vLLM XPU MOE 성능 최적화: 호스트 오버헤드 감소를 위한 객체 지향적 접근

vLLM의 XPU MOE 레이어에서 매 추론마다 반복되던 커널 호출 설정을 객체화하여 호스트 오버헤드를 획기적으로 줄인 최적화 사례를 분석합니다.

#vLLM #XPU #MOE #Performance #Optimization

2026년 5월 23일

[onnxruntime] RISC-V 벡터(RVV) 최적화: ONNX Runtime LLM 추론 성능 극대화

RISC-V 벡터 확장을 활용하여 LLM 연산자(GEMM, LayerNorm, RoPE)의 성능을 최대 191배 향상시킨 최적화 사례를 분석합니다.

#RISC-V #RVV #ONNX Runtime #LLM #Optimization

2026년 5월 23일

[vllm] vLLM 기술 딥다이브: CUTLASS를 활용한 NVFP4 Linear 커널의 Batch Invariance 최적화

vLLM에서 NVFP4 양자화 연산의 배치 크기 독립적 결과(Batch Invariance)를 보장하고 성능을 극대화한 CUTLASS 커널 개선 사례를 분석합니다.

#vLLM #CUTLASS #NVFP4 #CUDA #Optimization #Blackwell

2026년 5월 23일

[ultralytics] Ultralytics 코드베이스 경량화: SciPy 의존성 감소 및 NumPy 기반 최적화

SciPy 의존성을 줄이고 NumPy를 활용하여 Ultralytics 코드의 성능과 이식성을 개선한 PR 분석

#Python #NumPy #SciPy #Optimization #Ultralytics #Machine Learning

2026년 5월 22일

[onnxruntime] ONNX Runtime CPU ScatterElements 커널의 멀티스레딩 최적화 분석

CPU ScatterElements 연산을 ThreadPool을 활용해 병렬화하여 129배의 성능 향상을 달성한 사례를 분석합니다.

#ONNXRuntime #C++#Optimization #MultiThreading #Performance

2026년 5월 22일

[cpython] Python JIT 최적화: 트레이스 버퍼 오버헤드 관리 개선

Python JIT 컴파일러의 트레이스 버퍼 관리 방식을 개선하여 안정성을 높이고 성능을 소폭 향상시킨 PR을 분석합니다.

#Python #JIT #Optimization #CPython #Performance

2026년 5월 21일

[flashinfer] FlashInfer의 DeepSeek V4 Sparse MLA 최적화 분석

DeepSeek V4의 Sparse MLA를 지원하기 위한 커널 최적화 및 가변 Top-K 처리 로직 개선 사항을 분석합니다.

#FlashInfer #DeepSeek #CUDA #LLM #Optimization

2026년 5월 21일

[LlamaFactory] LlamaFactory의 Triton 기반 Fused MoE 커널 도입: 40% 이상의 성능 향상

Triton으로 구현된 Fused MoE 커널을 통해 Mixtral 등 MoE 모델의 학습 속도를 획기적으로 개선합니다.

#LlamaFactory #Triton #MoE #DeepLearning #Optimization

2026년 5월 20일

[sglang] Qwen3.5 및 Qwen3_Next 모델의 NPU 성능 향상을 위한 Triton 커널 퓨전 최적화

NPU 환경에서 Qwen3.5 및 Qwen3_Next 모델의 어텐션 레이어 성능을 극대화하는 Triton 커널 퓨전 최적화 분석

#NPU #Triton #Kernel Fusion #Optimization #Qwen3.5 #Qwen3_Next #LLM

2026년 5월 20일

[vllm] vLLM 성능 최적화: GPU-CPU 간 불필요한 동기화 제거하기

vLLM에서 GPU와 CPU 간의 불필요한 동기화를 제거하여 추론 성능을 극대화하는 최적화 기법을 분석합니다.

#vLLM #LLM #Performance #GPU #Optimization

2026년 5월 19일

[triton] AMD GPU에서 불필요한 워프 로드를 제거하여 성능을 최적화한 Triton PR 분석

AMD GPU 아키텍처에서 불필요한 데이터 로드를 방지하여 VGPR 사용량을 최대 35% 줄이는 최적화 기법을 분석합니다.

#Triton #AMD GPU #Optimization #LLVM #Compiler

2026년 5월 19일

[cpython] CPython 성능 최적화: 임시 리스트를 튜플로 변환할 때의 '아이템 스틸' 기법

CPython 3.14에서 도입된 INTRINSIC_LIST_TO_TUPLE 최적화를 통해 불필요한 메모리 복사를 제거하고 성능을 8%까지 끌어올린 과정을 살펴봅니다.

#CPython #Python Internals #Optimization #Performance #C-API

2026년 5월 18일

[loki] Grafana Loki: Range Aggregation 성능 최적화와 메모리 할당 감소

overlapping window 시나리오에서 불필요한 메모리 할당을 제거하여 성능을 39% 향상시킨 사례 분석

#Golang #Grafana Loki #Performance #Optimization #Memory Management

2026년 5월 18일

[vllm] vLLM Qwen3.5 GDN 최적화: `einops.rearrange`를 `torch.flatten`으로 교체하여 20배 성능 향상!

vLLM에서 Qwen3.5 GDN 레이어의 `einops.rearrange`를 `torch.flatten`으로 교체하여 Python 오버헤드를 줄이고 최대 21배의 속도 향상을 달성한 최적화 사례.

#vLLM #PyTorch #Optimization #Performance #DeepLearning #Qwen3.5 #einops #flatten

2026년 5월 18일

[sglang] DeepSeekV4 Fused MoE Triton 커널 지원 추가: 성능 최적화 분석

DeepSeekV4 모델의 Fused MoE Triton 커널 지원을 추가하여 추론 성능을 향상시킨 PR 분석

#AI #LLM #Optimization #Triton #DeepSeekV4 #MoE

2026년 5월 18일

[sglang] SGLang에서 torch.compile을 활용한 Wan 모델 추론 가속화

torch.compile을 도입하여 MUSA 및 CUDA 환경에서 Wan 모델의 추론 성능을 최대 1.09배 향상시킨 최적화 사례를 분석합니다.

#SGLang #torch.compile #MUSA #CUDA #Optimization

2026년 5월 17일

[sglang] SGLang 멀티모달 파이프라인의 VAE 정밀도 최적화: bf16 도입을 통한 메모리 효율 개선

SGLang의 멀티모달 파이프라인에서 VAE 정밀도를 fp32에서 bf16으로 변경하여 메모리 사용량을 최대 8.7% 절감한 사례를 분석합니다.

#SGLang #Optimization #VAE #bf16 #MemoryEfficiency

2026년 5월 16일

[vllm] vLLM의 혁신: Breakable CUDA Graph로 LLM 추론 성능 최적화

vLLM이 Breakable CUDA Graph를 도입하여 LLM 추론 성능을 향상시킨 PR 분석.

#vLLM #CUDA Graph #Optimization #LLM Inference #Deep Learning

2026년 5월 16일

[sglang] SGLang의 MLA KV 캐시 쓰기 최적화: TMA Bulk-Store 도입

TMA Bulk-Store와 Triton 커널 최적화를 통해 MLA KV 캐시 쓰기 성능을 최대 12배 향상시킨 기술적 여정.

#SGLang #CUDA #Triton #LLM #Optimization #TMA

2026년 5월 15일

[sglang] SGLang 최적화: NPU 환경을 위한 RoPE 캐싱 메모리 효율화

SGLang에서 NPU 환경을 고려한 조건부 RoPE 캐싱 로직 도입으로 약 230MB의 메모리 사용량을 절감한 사례를 분석합니다.

#SGLang #LLM #NPU #Optimization #Memory Management

2026년 5월 15일

[pydantic-ai] Pydantic AI, 도구 검색 기능 도입으로 에이전트의 도구 관리 혁신

Pydantic AI가 네이티브 도구 검색과 사용자 정의 전략을 도입하여 대규모 도구 세트 관리를 최적화합니다.

#Pydantic AI #Agent #Tool Management #Optimization #LLM

2026년 5월 13일

[vllm] vLLM의 Triton 통합 어텐션 커널에 Tensor Descriptor 최적화 도입

vLLM의 Triton 통합 어텐션 커널에 Tensor Descriptor를 도입하여 Intel XPU의 2D 블록 읽기 성능을 향상시킵니다.

#vLLM #Triton #Optimization #Deep Learning #LLM

2026년 5월 13일

[onnxruntime] [ONNX Runtime] PagedAttention의 FA 경로 최적화 및 정확성 개선

PagedAttention의 FA 경로에서 휴리스틱 기반 max_query_len을 실제 계산값으로 대체하여 성능 향상 및 CUDA 오류를 해결했습니다.

#ONNXRuntime #CUDA #FlashAttention #Optimization #LLM

2026년 5월 12일

[vllm] vLLM의 MLA 성능 극대화: RoPE, KV Cache, q_concat 연산 퓨전 최적화

vLLM에서 MLA 모델의 RoPE, KV Cache, q_concat 연산을 하나의 커널로 통합하여 추론 성능을 크게 향상시킨 최적화 기법을 분석합니다.

#vLLM #LLM #CUDA #Optimization #MLA #DeepSeek-R1

2026년 5월 11일

[cpython] CPython inspect.getattr_static 성능 개선: 일반적인 메타클래스 사례 최적화

CPython의 inspect.getattr_static 함수가 일반적인 메타클래스 사용 시 성능을 개선하는 방법을 분석합니다.

#Python #CPython #Performance #Optimization #Inspect #Metaclass

2026년 5월 10일

[sglang] SGLang의 MHC 파이프라인 최적화: 커널 퓨전과 DeepGemm 도입

MHC 파이프라인에서 커널 퓨전과 DeepGemm을 활용해 연산 효율을 극대화하고 HBM 접근을 최소화하여 성능을 개선했습니다.

#SGLang #CUDA #Triton #DeepGemm #Optimization

2026년 5월 10일

[sglang] [AMD/ROCm] Temporal Unfolding을 통한 VAE Conv3D 성능 최적화 분석

ROCm 환경에서 VAE의 CausalConv3d를 수학적으로 동일한 Batched Conv2D로 변환하여 3.6%의 성능 향상을 달성한 기법을 소개합니다.

#AMD #ROCm #Deep Learning #Optimization #SGLang #PyTorch

2026년 5월 8일

[sglang] AMD GPU에서 FP8 MLA를 활용한 Diffusion 모델 성능 최적화

FP8 MLA ASM 커널을 도입하여 AMD MI355X 환경에서 Diffusion 모델의 추론 속도를 최대 19% 향상시켰습니다.

#AMD #ROCm #FP8 #MLA #SGLang #Optimization

2026년 5월 8일

[cpython] CPython arraymodule 최적화: 구조체 메모리 레이아웃 개선을 통한 성능 향상

CPython의 arraymodule 내 arraydescr 구조체에서 포인터 대신 고정 크기 배열을 사용하여 메모리 효율성과 접근 속도를 개선한 사례를 분석합니다.

#CPython #C #Optimization #Memory Management #Performance

2026년 5월 6일

[sglang] SGLang의 Unified Radix Cache를 위한 SWA HiCache 지원 최적화

SGLang에서 SWA(Sliding Window Attention)를 HiCache와 통합하여 메모리 효율성과 추론 성능을 크게 향상시킨 변경사항 분석

#SGLang #LLM #KV-Cache #Optimization #HiCache

2026년 5월 6일

[transformers] Hugging Face Transformers: PreTrainedTokenizer의 성능 병목 해결기

convert_ids_to_tokens 호출 시 매번 반복되던 all_special_ids 연산을 캐싱하여 성능을 300배 이상 개선한 사례를 분석합니다.

#HuggingFace #Transformers #Python #Optimization #Performance

2026년 5월 4일

[cpython] CPython JIT 최적화: 불변 및 불사 객체에 대한 불필요한 의존성 제거하기

CPython JIT 엔진에서 Immutable 및 Immortal 클래스에 대한 감시(Watch)를 생략하여 성능을 개선한 사례를 분석합니다.

#CPython #JIT #Optimization #Python-Internals #Performance

2026년 5월 3일

[LlamaFactory] LlamaFactory: Qwen-VL 비디오 토큰 전처리 최적화로 450배 성능 향상 달성

비디오 디코딩 없이 메타데이터만으로 토큰 확장을 수행하여 Qwen-VL 전처리 속도를 450배 이상 개선한 사례를 분석합니다.

#LlamaFactory #Qwen-VL #Optimization #Performance #LLM

2026년 5월 3일

[vllm] vLLM IR의 진화: maybe_inplace 오버로드를 통한 메모리 최적화

vLLM IR에 maybe_inplace 오버로드를 도입하여 커널 실행 시 입력 텐서 메모리를 재사용함으로써 성능을 개선했습니다.

#vLLM #IR #Optimization #PyTorch #Memory Management

2026년 5월 2일

[sglang] SGLang NPU 성능 최적화: INT8 TP 통신 압축 도입

NPU 환경에서 Qwen3 모델의 TP 통신을 INT8로 압축하여 프리필 성능을 약 5% 향상시킨 최적화 기법을 분석합니다.

#SGLang #NPU #LLM #Optimization #Quantization

2026년 5월 2일

[sglang] CUDA 그래프 호환성을 위한 LoRA 연산 최적화: 스칼라 할당 대신 슬라이스 제로화 사용

CUDA 그래프 캡처를 방해하는 CPU-GPU 동기화 지점을 제거하여 LoRA 연산의 효율성을 높였습니다.

#CUDA #PyTorch #Optimization #LoRA #Performance

2026년 4월 30일

[vllm] vLLM chunk_kda 커널의 숨겨진 상태(h) 레이아웃 불일치 버그 수정 및 정확도 개선

vLLM의 chunk_kda 커널에서 h 행렬 레이아웃 불일치 버그를 수정하여 모델 정확도를 크게 개선합니다.

#vLLM #CUDA #Triton #Kernel #Bugfix #Deep Learning #Optimization

2026년 4월 30일

[onnxruntime] ONNX Runtime의 RISC-V Vector(RVV) 최적화: SGEMM과 Softmax 성능을 3배로 끌어올리기

RISC-V 아키텍처에서 스칼라 연산에 의존하던 ONNX Runtime이 RVV 확장을 통해 SGEMM 및 Softmax 연산 성능을 최대 3.6배 개선했습니다.

#ONNXRuntime #RISC-V #RVV #Optimization #MLAS #SIMD

2026년 4월 30일

[sglang] SGLang, FP4 KV 캐시 도입으로 LLM 추론 성능 극대화: NVFP4 최적화 분석

SGLang의 FP4 KV 캐시 도입으로 LLM 추론 성능을 혁신적으로 개선하는 NVFP4 최적화를 분석합니다.

#LLM #KV Cache #Quantization #Optimization #SGLang #FP4 #NVFP4

2026년 4월 29일

[cpython] Python dataclasses 모듈의 성능 최적화: inspect 모듈의 Lazy Import 도입

dataclasses 모듈의 무거운 inspect 의존성을 Lazy Import로 전환하여 모듈 로드 시간을 약 20-30% 개선했습니다.

#Python #CPython #Performance #Optimization #dataclasses

2026년 4월 26일

[cpython] CPython 테스트 최적화: 30초의 대기를 1초 미만으로 단축하는 소켓 핸드셰이크 기법

subprocess 테스트의 불필요한 sleep을 제거하고 루프백 소켓 기반의 동기화 메커니즘을 도입하여 테스트 실행 시간을 획기적으로 단축한 사례를 분석합니다.

#Python #CPython #Subprocess #Testing #Optimization #Socket

2026년 4월 26일

[sglang] SGLang 성능 최적화: torch.cuda.empty_cache() 호출 제어를 통한 가중치 업데이트 병목 해결

가중치 업데이트 시 발생하는 불필요한 GPU 캐시 동기화 오버헤드를 제거하여 추론 지연 시간을 개선했습니다.

#SGLang #PyTorch #CUDA #Optimization #LLM

2026년 4월 25일

[sglang] AMD GPU에서 FP8 KV 캐시 쓰기 최적화: Triton 커널 융합으로 성능 향상

AMD GPU의 FP8 KV 캐시 쓰기 성능을 개선하기 위해 Triton 커널을 융합하여 오버헤드를 줄였습니다.

#AMD GPU #FP8 #Triton Kernel #KV Cache #Optimization #SGLang

2026년 4월 25일

[flashinfer] FlashInfer 오토튜너 최적화: 하이브리드 토큰 버킷 도입

기존 2의 거듭제곱 방식의 토큰 버킷을 하이브리드 방식으로 개선하여 MoE 및 GEMM 커널의 튜닝 정확도와 성능을 향상시켰습니다.

#FlashInfer #LLM #Autotuning #Optimization #MoE

2026년 4월 24일

[vllm] vLLM에 고성능 JIT 양자화 커널 'Humming' 도입하기

vLLM에 유연한 JIT 양자화 커널 라이브러리인 Humming을 통합하여 다양한 양자화 타입 지원 및 추론 성능을 최적화하는 방법을 소개합니다.

#vLLM #Quantization #Humming #LLM #Inference #Optimization

2026년 4월 24일

[cpython] Python statistics.fmean() 성능 최적화: itertools.compress를 활용한 오버헤드 제거

itertools.compress를 활용하여 튜플 생성 오버헤드를 제거하고 fmean의 성능을 약 39% 향상시킨 사례를 분석합니다.

#Python #Performance #Optimization #CPython #itertools

2026년 4월 23일

[triton] Triton Gluon Attention 커널의 Autotuning을 통한 성능 최적화 분석

Triton Gluon 예제에서 커널 설정을 동적으로 선택하는 Autotuning 로직을 도입하여 다양한 시나리오에서 성능을 개선했습니다.

#Triton #GPU #Optimization #Attention #DeepLearning

2026년 4월 23일

[vllm] vLLM CPU 성능 최적화: NEON 하드웨어를 위한 고속 Exp 연산 도입

vLLM의 CPU 어텐션 연산에서 저정밀도 데이터 타입을 위한 고속 exp 루틴을 도입하여 성능을 3-4% 향상시켰습니다.

#vLLM #CPU #Optimization #NEON #Performance

2026년 4월 23일

[sglang] SGLang Triton 커널 최적화: libdevice.tanh 도입과 2D Strided Tensor 지원

Triton 커널에서 수치적 불안정성을 해결하기 위해 libdevice.tanh를 도입하고, 2D Strided Tensor를 지원하도록 구조를 개선한 사례를 분석합니다.

#Triton #CUDA #LLM #SGLang #Optimization #DeepLearning

2026년 4월 22일

[논문리뷰] Evaluation-driven Scaling for Scientific Discovery

본 논문은 과학적 발견 과정에서 LLM을 활용한 Trial-and-error 루프의 확장성(Scaling) 문제를 공식화하고 이를 체계적으로 해결하고자 합니다.

#Review #Test-Time Scaling #Scientific Discovery #Evaluation-driven Discovery #LLM #Optimization #Symbolic Laws #GPU Kernel

2026년 4월 21일

[abtop] Codex 세션 파일 검색 성능 개선: lsof 대신 /proc/pid/fd 활용

Codex 세션에서 열린 JSONL 파일을 찾는 방식을 lsof에서 /proc/pid/fd로 변경하여 Linux 환경에서 성능을 크게 향상시켰습니다.

#Rust #Performance #Linux #Optimization #System Programming

2026년 4월 21일

[vllm] vLLM의 콜드 스타트 성능을 20% 향상시키는 비동기 최적화 기법

백그라운드 스레드를 활용한 모델 가중치 프리페치와 forkserver 사전 준비로 vLLM 엔진 구동 시간을 획기적으로 단축했습니다.

#vLLM #Performance #Optimization #Python #Multiprocessing

2026년 4월 21일

[vllm] vLLM CI 속도 개선: 70분 걸리던 MoE 테스트를 5분으로 단축하기

불필요한 조합을 제거하고 핵심 시나리오 중심의 테스트 케이스 재설계를 통해 CI 성능을 14배 개선한 사례를 분석합니다.

#vLLM #CI/CD #Optimization #MoE #Python

2026년 4월 18일

[triton] Triton AMD 커널 최적화: TDM 로드 파이프라이닝 개선을 통한 성능 향상

Triton의 AMD gfx1250 GEMM 커널에서 TDM 로드 시점을 조정하여 파이프라인 효율을 극대화한 최적화 사례 분석.

#Triton #AMD #GPU #Optimization #GEMM #HPC

2026년 4월 18일

[open-webui] Open WebUI 성능 최적화: 불필요한 DB 중복 조회 제거하기

인증 과정에서 이미 로드된 사용자 정보를 재조회하던 비효율적인 DB 호출을 제거하여 API 응답 속도를 개선했습니다.

#Python #FastAPI #Performance #Optimization #OpenWebUI

2026년 4월 17일

[open-webui] Open WebUI 채팅 파일 중복 제거 로직 최적화: O(n*m)에서 O(n+m)으로

Open WebUI의 채팅 파일 중복 제거 로직을 리스트에서 세트로 변경하여 성능을 크게 개선했습니다.

#Python #Optimization #Performance #Backend #Open WebUI

2026년 4월 17일

[cpython] CPython의 BINARY_OP_EXTEND 최적화: 타입 정보 전파를 통한 성능 개선

BINARY_OP_EXTEND에 리스트와 튜플 연산을 추가하고, 타입 정보를 JIT에 전달하여 가드(guard)를 제거함으로써 성능을 최적화했습니다.

#CPython #Python Internals #Performance #JIT #Optimization

2026년 4월 16일

[sglang] SGLang, Diffusion 모델의 RL 기반 후처리 최적화를 위한 새로운 Rollout API 및 정밀도 개선

SGLang, Diffusion 모델 RL 후처리를 위한 Rollout API 도입 및 SP 환경 백패스, 정밀도 개선으로 성능 향상.

#SGLang #Diffusion Models #RL #Optimization #Performance #API

2026년 4월 15일

[vllm] vLLM TurboQuant: KV 캐시 압축으로 LLM 서빙 효율 극대화

vLLM의 TurboQuant는 KV 캐시를 압축하여 메모리 사용량을 줄이고 LLM 서빙 효율을 높입니다.

#vLLM #LLM #KV Cache #Quantization #Optimization #Triton #GPU Memory

2026년 4월 15일

[cpython] CPython JIT 최적화: 키워드 및 바운드 메서드 호출 성능 개선

CPython JIT 컴파일러가 키워드 인수와 바운드 메서드 호출을 더 효율적으로 처리하도록 최적화하는 방법을 설명합니다.

#Python #CPython #JIT #Optimization #Performance

2026년 4월 13일

[sglang] Whisper 모델 추론 성능 극대화: 동시 Prefill 요청을 위한 배치 인코더 최적화

Whisper 모델의 동시 Prefill 요청 처리 시 인코더 순차 호출 문제를 해결하여 추론 성능을 크게 향상시킨 PR 분석.

#AI #Machine Learning #LLM #Whisper #Optimization #Performance #Inference

2026년 4월 12일

[sglang] SGLang의 AMD AITER AllReduce 최적화: 하드코딩된 제약 제거 및 성능 개선

AITER AllReduce+RMSNorm 융합 커널의 하드코딩된 hidden_dim 허용 목록을 제거하고 경계 조건을 최적화하여 범용성과 성능을 개선했습니다.

#SGLang #AMD #ROCm #AllReduce #Optimization #LLM

2026년 4월 12일

[cpython] CPython JIT 최적화: _POP_TWO/_POP_CALL 연산 분해를 통한 성능 향상

CPython JIT 컴파일러에서 불필요한 스택 조작을 제거하여 성능을 개선하는 코드 변경 분석.

#Python #CPython #JIT #Optimization #Performance

2026년 4월 11일

[cpython] Python 3.14 내부 최적화: 가변 인자 Opcode의 스택 관리 개선

CALL_BUILTIN_FAST_WITH_KEYWORDS 옵코드가 인자를 스택에 남기도록 변경되어 에러 발생 시의 스택 복구 효율성이 향상되었습니다.

#CPython #Python3.14 #Optimization #Bytecode #VirtualMachine

2026년 4월 11일

[cpython] CPython JIT 최적화: 복합 마이크로 오퍼레이션(uOp)의 분해를 통한 효율성 개선

CPython JIT의 복합 uOp를 단순한 단위 작업으로 분해하여 코드 생성의 유연성과 유지보수성을 높인 최적화 사례를 분석합니다.

#CPython #JIT #Python Internals #Optimization

2026년 4월 10일

[cpython] CPython JIT 최적화: MAKE_FUNCTION의 불필요한 참조 카운팅 제거

CPython JIT 컴파일러에서 MAKE_FUNCTION 바이트코드의 불필요한 참조 카운팅을 제거하여 성능을 개선합니다.

#CPython #JIT #Optimization #Python Internals #Performance

2026년 4월 9일

[sglang] SGLang NIXL 이기종 TP 환경에서 디스어그리게이션 KV 캐시 전송 버그 수정 및 성능 개선

SGLang NIXL에서 이기종 TP 환경의 KV 캐시 전송 문제를 해결하여 디스어그리게이션 서빙 안정성을 높였습니다.

#SGLang #NIXL #KV Cache #Disaggregation #TP Heterogeneous #Optimization

2026년 4월 7일

[cpython] CPython 최적화: _BINARY_OP_EXTEND를 통한 타입 정보 전파로 성능 향상

CPython의 Tier 2 옵티마이저에서 _BINARY_OP_EXTEND의 타입 정보 전파를 개선하여 성능을 35% 향상시켰습니다.

#Python #CPython #Optimization #JIT #Compiler

2026년 4월 6일

[sglang] SGLang에서 DeepSeek V3.2를 위한 IndexCache 최적화 구현

DeepSeek V3.2 모델의 IndexCache 도입을 통해 추론 성능을 약 6.4% 향상시킨 기술적 분석과 구현 상세.

#SGLang #DeepSeek #LLM #Optimization #Inference

2026년 4월 5일

[sglang] [VLM] 멀티모달 임베딩 최적화: 청크 인식 인코딩과 이미지별 캐싱 도입

SGLang의 VLM 추론 성능을 획기적으로 개선하는 코드 변경 분석: 청크 인식 인코딩, 이미지별 캐싱, 지연 장치 전송 도입.

#VLM #Optimization #SGLang #Multimodal #Caching #Performance

2026년 4월 4일

[sglang] SGLang에서 FA4(FlashAttention 4)와 Speculative Decoding의 완벽한 결합

FA4를 Speculative Decoding 파이프라인에 통합하여 저지연 추론 성능을 극대화하는 최적화 기법을 분석합니다.

#SGLang #FlashAttention4 #SpeculativeDecoding #LLM #Optimization

2026년 4월 4일

[ollama] Ollama의 Gemma 4 모델 Flash Attention 비활성화: 성능 회귀(Regression) 해결 사례

Gemma 4 모델에서 Flash Attention 적용 후 발생한 40% 이상의 성능 저하 문제를 Revert를 통해 해결한 사례를 분석합니다.

#Ollama #FlashAttention #Performance #Gemma4 #Optimization

2026년 4월 4일

[vllm] vLLM 성능 최적화: cuMemcpyBatchAsync를 활용한 KV 캐시 스왑 효율화

vLLM에서 KV 캐시 오프로딩 시 발생하는 개별 복사 오버헤드를 cuMemcpyBatchAsync로 통합하여 최대 7.4배의 성능 향상을 달성했습니다.

#vLLM #CUDA #Performance #KV-Cache #Optimization

2026년 4월 3일

[vllm] vLLM의 Mamba 모델 성능 최적화: Conv State 레이아웃 개선

Mamba 모델의 Conv State 레이아웃을 SD에서 DS로 변경하여 TTFT 성능을 약 1.5배 개선하고 HeterogeneousTP를 지원합니다.

#vLLM #Mamba #Optimization #DeepLearning #Performance

2026년 4월 3일

[sglang] SGLang의 디코드 성능 향상을 위한 Temperature 및 Softmax 커널 융합

Triton 커널을 활용해 Temperature Scaling과 Softmax를 하나로 융합하여 메모리 접근을 최적화하고 디코드 지연 시간을 최대 4배 이상 단축했습니다.

#SGLang #Triton #CUDA #LLM #Optimization

2026년 4월 2일

[openclaw] Vitest 모듈 로딩 최적화 및 테스트 병렬성 증대를 통한 CI 성능 개선

Vitest 테스트 모듈 로딩 최적화와 병렬 처리 확대를 통해 CI 빌드 시간을 단축합니다.

#Vitest #CI #Performance #Optimization #Testing

2026년 4월 1일

[논문리뷰] ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions

기존의 Hand-Object Interaction (HOI) 재구성 연구는 주로 강체(Rigid Object)만을 다루거나, 관절형 물체의 4D 재구성을 위해 사전에 스캔된 3D 템플릿 혹은 다중 시점(Multi-view) 비디오와 같은 제약적인 입력을 필요로 했습니다.

#Review #4D Reconstruction #Hand-Object Interaction #Foundation Models #Articulated Objects #Monocular Video #Optimization

2026년 3월 31일

[feast] Feast Online Serving 최적화: 3단계 데이터 변환을 단일 패스로 통합하기

Feast의 온라인 피처 서빙 경로에서 불필요한 반복과 메모리 할당을 제거하여 성능을 개선한 사례를 분석합니다.

#Feast #Python #Performance #Optimization #Data Engineering

2026년 3월 31일

[triton] AMD GPU Descriptor Encoding 최적화 패스 추가

AMD GFX1250 타겟에서 tensor descriptor의 shared memory encoding을 padded 방식으로 최적화하는 OptimizeDescriptorEncoding 패스를 추가한 PR을 분석합니다.

#Triton #AMD GPU #Tensor Descriptor #Shared Memory #Optimization

2026년 3월 30일

[CPython] dict 접근 최적화: known hash를 활용한 중복 해시 계산 제거

CPython의 dict 자료구조에서 이미 알고 있는 hash 값을 활용하여 중복 해시 연산을 제거하는 JIT/인터프리터 최적화 분석.

#CPython #Performance #Dict #JIT #Optimization #C

2026년 3월 30일

[sglang] VLM ShmPointerMMData 최적화: multi-pickle 안전성과 deferred unwrap

SGLang의 VLM 멀티모달 데이터 공유 메모리 래퍼를 리팩토링하여 multi-pickle 안전성을 확보하고, broadcast 이후 deferred unwrap 패턴을 도입한 분석.

#SGLang #VLM #Shared Memory #Multimodal #Optimization #IPC

2026년 3월 27일

[triton] GSan AxisInfo 기반 Shadow Update 중복 제거로 2~10배 성능 향상

Triton의 Global Sanitizer에서 AxisInfo의 contiguity 속성을 활용하여 중복 shadow update를 제거하고, FP16 matmul에서 최대 10배 속도 향상을 달성한 PR을 분석합니다.

#Triton #GPU #Sanitizer #Optimization #MLIR

2026년 3월 27일

[sglang] SGLang의 FA3 디코드 최적화: get_scheduler_metadata 도입

FlashAttention-3의 타일 스케줄링 메타데이터를 사전 계산하여 레이어별 오버헤드를 제거하는 최적화 기법을 분석합니다.

#SGLang #FlashAttention #CUDA #Optimization #LLM

2026년 3월 25일

[triton] Triton AMD 백엔드 최적화: SGPR 활용과 루프 최적화를 통한 GEMM 성능 향상

Triton의 AMD GPU 커널에서 VGPR 의존성을 제거하고 루프 분기 최적화를 통해 성능을 개선한 사례를 분석합니다.

#Triton #AMD #GPU #Optimization #GEMM

2026년 3월 25일

[triton] AMD WMMA Utilization 개선: Unroll 제거와 상수 폴딩

LLVM 코드 생성의 루프 언롤링 문제로 인한 레지스터 스필링을 방지하고, 상수 폴딩으로 VALU 연산을 줄여 WMMA 활용률을 개선한 PR을 분석합니다.

#Triton #AMD #WMMA #Gluon #Optimization

2026년 3월 25일

[cpython] CPython JIT 최적화: Float 연산의 In-place 변환을 통한 성능 향상

CPython JIT의 Tier 2 옵티마이저에서 고유 참조된 Float 피연산자를 In-place로 변환하여 메모리 할당을 줄이고 성능을 개선하는 방법.

#CPython #JIT #Optimization #Python Internals #Performance

2026년 3월 24일

[CPython] JIT float 연산 최적화 — 유일 참조 피연산자 재사용

CPython JIT에서 유일 참조 float 객체를 in-place 변경하여 메모리 할당을 제거한다

#CPython #JIT #Optimization #Float

2026년 3월 24일

[triton] getTranspositionSelectors 알고리즘 단순화 및 복원

다중 mixed transposition에서의 정합성 문제를 해결하고, prmt selector 알고리즘의 수학적 분해를 명확히 정리한 사례를 분석합니다.

#Triton #GPU #LinearLayout #Optimization #Algorithm

2026년 3월 19일

[axolotl] Axolotl: Triton 커널을 활용한 Entropy 및 Selective Log Softmax 최적화

Axolotl에서 Triton 커널을 사용하여 Entropy 및 Selective Log Softmax 계산을 최적화하여 훈련 성능을 크게 향상시킨 PR 분석.

#Triton #PyTorch #Optimization #Deep Learning #Performance #GPU

2026년 3월 19일

[ACE-Step-1.5] 외부 의존성을 걷어내고 성능을 잡다: ACE-Step 1.5의 커스텀 vLLM 엔진 도입기

nano-vllm 의존성을 제거하고, CFG 버그 수정 및 Jetson 최적화를 포함한 자체 추론 엔진 구축 사례를 분석합니다.

#LLM #vLLM #Inference #Optimization #Python #PyTorch

2026년 3월 18일

[논문리뷰] Progressive Residual Warmup for Language Model Pretraining

Transformer 기반 Large Language Models (LLMs) 의 사전 훈련 안정성과 수렴 속도를 향상시키는 것을 목표로 합니다. 특히, 계층적으로 쌓인 Transformer 아키텍처에서 깊은 레이어들이 얕은 레이어들이 안정화되기 전에 기여하여 발생하는 비효율적인 업데이트 문제를 해결하고자 합니다.

#Review #Large Language Models (LLMs)#Transformer #Pretraining Stability #Residual Connections #Warmup Schedule #Layer-wise Learning #Optimization

2026년 3월 8일

[triton] Multi-CTA 예제에서 Program ID를 Shared Memory에 저장하여 재계산 방지

CLC 타일 스케줄러에서 planar snake ID를 shared memory에 저장하여 consumer와 epilogue 파티션 간 재계산을 제거한 최적화를 분석합니다.

#Triton #Gluon #GPU #MultiCTA #Optimization

2026년 3월 5일

[Open WebUI] StatusHistory 비교에 O(1) 길이 검사 추가로 직렬화 비용 절감

Open WebUI의 스트리밍 응답에서 매 프레임마다 JSON.stringify로 상태 히스토리를 비교하던 것에 배열 길이 사전 검사를 추가하여 불필요한 직렬화를 건너뛰는 최적화를 분석합니다.

#Open WebUI #Svelte #Performance #Optimization #Streaming

2026년 3월 1일

[feast] Feast 성능 최적화: 엔티티 키 직렬화 Hot Path 2.4배 개선하기

Feast의 온라인 스토어 성능을 좌우하는 엔티티 키 직렬화 로직을 Fast Path 도입과 memoryview 활용으로 최대 141% 개선한 사례를 분석합니다.

#Python #Performance #Feast #Optimization #Zero-copy

2026년 2월 19일

[Ray RLlib] SingleAgentEnvRunner의 validate 호출 위치 최적화로 3.1배 속도 향상

Ray RLlib의 SingleAgentEnvRunner에서 매 스텝마다 호출되던 validate를 에피소드 완료 시점으로 이동하여 add_step_data의 누적 시간을 16.7초에서 5.43초로 줄인 최적화를 분석합니다.

#Ray #RLlib #Python #Performance #Reinforcement Learning #Optimization

2026년 2월 19일

[Ray Serve] Pack 스케줄링 최적화: O(replicas x total_replicas)에서 O(replicas x nodes)로

Ray Serve의 pack 스케줄링 전략에서 레플리카마다 전체 리소스를 재계산하던 O(N^2) 로직을 사전 계산 + 증분 업데이트로 변경하여 대규모 배포 성능을 크게 개선한 PR을 분석합니다.

#Ray #Ray Serve #Performance #Scheduling #Python #Optimization

2026년 2월 13일

[triton] Triton AMD 백엔드: 8-Wave PingPong Attention 커널 구현 분석

AMD GPU 환경에서 성능 향상을 위한 8-Wave PingPong Attention 커널 구현 및 파이프라이닝 최적화 기법을 살펴봅니다.

#Triton #AMD #GPU #Attention #Optimization

2026년 2월 10일

[triton] Triton NVIDIA GPU 백엔드: WarpGroupDotWaitOp 최적화 및 동기화 개선

WarpGroupDotWaitOp에 warpGroupLocal 속성을 추가하여 불필요한 배리어 동기화를 제거하고 성능을 최적화했습니다.

#Triton #NVIDIA #GPU #Optimization #Compiler

2026년 2월 9일

[triton] Triton 컴파일러 최적화: In-thread 트리 리덕션 도입

Triton의 리덕션 연산을 트리 구조로 변환하고 인-스레드 벡터화를 적용하여 Gluon 어텐션 커널 성능을 개선했습니다.

#Triton #Compiler #Optimization #LLVM #GPU

2026년 2월 6일

[triton] ConSan 컴파일 타임 19분에서 34초로 단축 - 대규모 최적화

Triton Concurrency Sanitizer의 컴파일 시간을 33배 개선한 대규모 PR을 분석합니다. IR 크기 축소, warp-local layout, 헬퍼 함수 중복제거 등 다양한 최적화가 포함됩니다.

#Triton #ConSan #Compile Time #MLIR #Optimization

2026년 2월 5일

[triton] Triton AMD GPU 백엔드: v_perm 명령어를 활용한 레이아웃 변환 최적화

AMD GPU에서 v_perm 명령어를 사용하여 8비트 데이터 레이아웃 변환 시 성능을 개선하고 명령어 수를 최적화하는 방법

#Triton #AMD #GPU #LLVM #Optimization

2026년 1월 30일

[uvloop] uvloop의 SSL 성능 최적화: SSLWantReadError 비용 줄이기

SSLWantReadError 예외 발생을 최소화하여 SSL 읽기 성능을 개선한 uvloop의 최적화 사례를 분석합니다.

#uvloop #Python #SSL #Performance #Optimization

2026년 1월 30일

[uvloop] uvloop의 SSL 성능 최적화: Python Vectorcall 우회하기

Python의 vectorcall 인터페이스 대신 C 레벨의 직접 호출과 인라인화를 통해 SSLProtocol 성능을 개선한 사례 분석.

#Python #uvloop #Performance #Optimization #SSL

2026년 1월 30일

[Loki] 인덱스 빌더 크기 추정 최적화: 반복 계산 제거로 97% 성능 개선

Grafana Loki의 데이터 객체 인덱스 빌더에서 매번 모든 테넌트를 순회하며 크기를 계산하던 방식을 증분 추적으로 변경하여 97%의 성능 향상을 달성한 PR을 분석합니다.

#Grafana Loki #Performance #Go #Index Builder #Optimization

2026년 1월 28일

[triton] NVIDIA canSkipBarSync 복원으로 MoE 커널 18GBps 성능 향상

Blackwell 지원 과정에서 비활성화된 barrier skip 최적화를 보수적으로 재설계하여 복원하고, persistent MoE 커널 성능을 개선한 PR을 분석합니다.

#Triton #NVIDIA #Membar #Optimization #MoE

2026년 1월 22일

[triton] Triton Hopper 커널 최적화: Persistent Matmul에서 Epilogue 오버랩 제거하기

Triton의 Persistent Hopper Matmul에서 Epilogue 오버랩을 비활성화하여 150 GBps의 성능 향상을 달성한 사례를 분석합니다.

#Triton #GPU #Optimization #HPC #Matmul

2026년 1월 22일

[triton] AMD membarFilter에 bufferID 고려 추가

AMD 백엔드의 membar 분석에서 buffer ID를 고려하여 불필요한 barrier 삽입을 줄이고, 재사용된 allocation 간 누락된 barrier를 올바르게 삽입하도록 개선한 PR을 분석합니다.

#Triton #AMD GPU #Memory Barrier #Shared Memory #Optimization

2026년 1월 22일

[triton] Triton 컴파일 타임 최적화: Alias Matrix 생략을 통한 성능 개선

Triton의 CONSAN 모드에서 불필요한 Alias Matrix 생성을 제거하여 컴파일 시간을 약 15% 단축한 최적화 사례를 분석합니다.

#Triton #Compiler #Optimization #LLVM #Performance

2026년 1월 20일

[triton] Triton 커널 최적화: High Occupancy Persistent Matmul 구현을 통한 성능 향상

Triton의 Persistent Matmul 커널에서 SM 점유율을 최적화하여 H200 기준 15% 성능 향상을 달성한 사례 분석.

#Triton #GPU #CUDA #Optimization #Matmul

2026년 1월 20일

[triton] [Blackwell] NVIDIA 차세대 아키텍처를 위한 Triton의 tcgen05.ld.red 최적화 분석

Blackwell 아키텍처의 TMEM 로드 및 리덕션 동시 수행 기능을 Triton Gluon에 구현하여 성능을 최적화한 사례를 분석합니다.

#Triton #Blackwell #NVIDIA #GPU #Optimization #MLIR

2026년 1월 16일

[논문리뷰] Learnable Multipliers: Freeing the Scale of Language Model Matrix Layers

대규모 언어 모델(LLM) 학습 시 Weight Decay(WD) 가 가중치 행렬의 스케일을 '노이즈-WD 평형' 상태에 고정시켜 데이터에 최적화된 스케일 학습을 방해하는 문제를 해결하는 것이 목표입니다.

#Review #Large Language Models #Weight Decay #Learnable Multipliers #Scale Adaptation #Optimization #µP Parametrization #Adam #Muon

2026년 1월 8일

[triton] SwiGLU 커널에 ex2.approx.ftz 적용으로 1-2 GBps 성능 개선

Triton의 SwiGLU 커널에서 exp 연산을 CUDA의 ex2.approx.ftz 인라인 어셈블리로 대체하여, 수치적 안전성을 유지하면서 처리량을 개선한 PR을 분석합니다.

#Triton #Kernel #SwiGLU #PTX #Optimization

2026년 1월 8일

[triton] Triton AMD 백엔드 최적화: Subtiling을 통한 GEMM 성능 향상

AMD GPU 환경에서 Subtiling 기법을 도입하여 공유 메모리 사용량을 줄이고 레지스터 스필을 제거한 GEMM 최적화 분석.

#Triton #AMD #GEMM #GPU #Optimization

2025년 12월 19일

[triton] Triton PROTON: CUDA 그래프 프로파일링 오버헤드를 줄이고 MsgPack API를 추가하여 성능을 대폭 개선

Triton PROTON 라이브러리의 CUDA 그래프 프로파일링 오버헤드를 줄이고 MsgPack 직렬화 API를 추가하여 성능을 3배~10배 향상시킨 코드 변경 분석.

#Triton #PROTON #CUDA #Profiling #Optimization #MsgPack #C++#Python

2025년 12월 19일

[triton] Triton GFX1250 MXFP GEMM 커널의 4-Warp 스케줄링 최적화 분석

Triton의 AMD GFX1250 MXFP GEMM 커널에서 4-Warp 스케줄링 도입 및 비동기 복사(Async Copy)를 통한 성능 최적화 사례를 살펴봅니다.

#Triton #AMD #GEMM #GPU #Optimization

2025년 12월 18일

[triton] wgmma wait(0)를 accumulator 첫 사용 시점으로 지연하여 MMA-epilogue 오버랩 달성

파이프라인된 wgmma 루프 이후의 wait(0)를 accumulator 첫 사용 시점으로 지연시켜, epilogue 연산과 MMA를 오버랩한 PR을 분석합니다.

#Triton #NVIDIA #WGMMA #Pipeline #Optimization

2025년 12월 17일

[triton] Triton AMD 커널 최적화: 루프 언롤링(Loop Unrolling)을 통한 성능 향상

Triton AMD FlashAttention 커널에서 루프 언롤링(unroll_factor=2)을 적용하여 레지스터 회전 효율을 높이고 연산 오버헤드를 줄인 사례 분석.

#Triton #AMD #GPU #Optimization #FlashAttention

2025년 12월 15일

[논문리뷰] TrackingWorld: World-centric Monocular 3D Tracking of Almost All Pixels

기존 단안 3D 트래킹 방법론의 한계인 카메라 움직임과 전경 동적 객체 움직임의 분리 미흡 및 새롭게 출현하는 동적 객체의 밀집 트래킹 불가 문제를 해결하는 것입니다.

#Review #Monocular 3D Tracking #World-centric Coordinates #Dense Tracking #Camera Pose Estimation #Dynamic Object Tracking #Optimization #2D Track Upsampling

2025년 12월 9일

[triton] Triton에서 Ragged Mode를 위한 X Scale Swizzling 최적화

Triton의 Ragged Mode에서 MXFP8 연산 시 X scale swizzling을 지원하여 행렬 곱셈 지연 시간을 줄이는 최적화 구현.

#Triton #GPU #Optimization #MXFP8 #MatMul

2025년 12월 8일

[triton] Triton Blackwell 아키텍처를 위한 MXFP8 입력 스케일 스위즐링 최적화

Blackwell GPU에서 MXFP8 행렬 곱셈 시 입력 스케일 스위즐링과 TMA를 도입하여 성능을 1.7배에서 1.1배로 개선했습니다.

#Triton #Blackwell #GPU #Optimization #MXFP8

2025년 12월 2일

[ultralytics] Ultralytics 8.3.229: COCO Segmentation 평가 300% 가속화 분석

외부 라이브러리 의존성을 제거하고 PyTorch 기반의 최적화된 RLE 인코딩 및 마스크 스케일링을 도입하여 성능을 3배 향상시킨 사례를 분석합니다.

#Ultralytics #YOLO #Optimization #PyTorch #ComputerVision

2025년 11월 18일

[논문리뷰] Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

본 연구는 대규모 언어 모델(LLM) 훈련 시 고차원, 비볼록(non-convex) 손실 함수 공간에서 기존 경사 하강법(Gradient Descent) 의 한계(지역 최적해 수렴, 느린 수렴 속도)를 극복하고자 합니다.

#Review #Quantum Computing #Optimization #Machine Learning #Transformers #Gradient Descent #Superposition #Large Language Models #Hybrid Quantum-Classical

2025년 11월 13일

[triton] Triton PROTON: FinalizeOp 최적화를 통한 프로파일링 오버헤드 개선

Triton PROTON의 FinalizeOp를 리팩토링하여 warp 단위 병렬 쓰기를 구현하고 프로파일링 오버헤드를 최대 2배 이상 개선했습니다.

#Triton #GPU #Optimization #Compiler #Profiling

2025년 11월 7일

[triton] Triton에서의 MXFP 변환 성능 최적화: TMA와 벡터화된 연산 활용

Triton의 MXFP8/MXFP4 변환 커널을 TMA와 벡터화된 스토어, 타일링 튜닝을 통해 대폭 가속화한 사례를 분석합니다.

#Triton #MXFP #GPU #Optimization #HPC

2025년 11월 6일

[triton] [NVIDIA] SM120을 위한 FP4 Native Scaled Matmul 지원 및 성능 최적화 분석

Triton에서 FP4 데이터 타입의 하드웨어 가속을 구현하여 Llama3-8B 벤치마크 성능을 약 2배 향상시킨 사례를 분석합니다.

#Triton #NVIDIA #FP4 #GPU #Optimization #LLM

2025년 10월 20일

[ultralytics] Ultralytics 8.3.215: 세그멘테이션 마스크 처리 성능 최적화 분석

YOLO 세그멘테이션의 crop_mask 연산을 3배 가속화한 최적화 전략과 성능 개선 사례를 살펴봅니다.

#YOLO #PyTorch #Optimization #ComputerVision #Performance

2025년 10월 16일

[triton] AMD ds_read_tr 명령어 제한 완화로 더 유연한 레이아웃 지원

AMD GPU의 ds_read_tr 명령어에 대한 불필요한 제한을 제거하고 임의의 linear layout에서도 활용 가능하게 개선한 PR 분석.

#Triton #AMD #LDS #LinearLayout #SharedMemory #Optimization

2025년 10월 16일

[triton] Triton GPU 컴파일러 최적화: TMEM Store의 레이아웃 변환 폴딩(Folding) 기법

Triton의 TMEM Store 연산에서 불필요한 레이아웃 변환을 제거하여 Flex Attention 성능 저하를 해결한 최적화 기법을 분석합니다.

#Triton #Compiler #Optimization #MLIR #GPU

2025년 10월 3일

[논문리뷰] TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

언어 모델 사전 훈련 과정에서 고정된 데이터 혼합 전략은 모델의 학습 선호도가 동적으로 변화함에 따라 최적의 성능을 달성하지 못합니다. 본 논문은 이러한 진화하는 데이터 선호도를 효율적으로 관찰 하고, 이를 기반으로 데이터 혼합 비율을 동적으로 조정 하여 모델 성능을 극대화하는 것을 목표로 합니다.

#Review #Language Model Pre-training #Dynamic Data Mixing #Data Influence #Group Influence #Optimization #Regression Model #LLM Training

2025년 9월 1일

[논문리뷰] Efficient Agents: Building Effective Agents While Reducing Cost

본 논문은 대규모 언어 모델(LLM) 기반 에이전트 시스템의 확장성과 접근성을 위협하는 급증하는 비용 문제 를 해결하고자 합니다.

#Review #LLM Agents #Cost Efficiency #Performance-Cost Trade-off #Agent Frameworks #GAIA Benchmark #Optimization #Resource Management

2025년 8월 7일