[axolotl] Axolotl, 대규모 언어 모델 학습 시 메모리 부족 문제 해결: 효율적인 데이터셋 처리 개선Axolotl 라이브러리에서 대규모 SFT 데이터셋 로딩 시 발생하는 RAM OOM 오류를 해결하는 코드 변경 사항을 분석합니다.#Python#PyTorch#Hugging Face Datasets#Optimization#LLM2026년 6월 24일댓글 수 로딩 중
[onnxruntime] ONNX Runtime: MoE Router GEMV 최적화 및 Bias Fusion 구현GPT-OSS-20B 모델의 MoE 라우터 성능 향상을 위해 MatMulNBits 커널에 특화된 GEMV 경로와 Bias Fusion을 도입했습니다.#ONNX Runtime#CUDA#MoE#GEMV#Optimization2026년 6월 24일댓글 수 로딩 중
[sglang] [HunyuanVideo] Sequence Parallelism 최적화: Text Token Sharding으로 성능 한계 돌파하기HunyuanVideo 모델에서 텍스트 토큰을 분산 처리하여 중복 연산을 제거하고 추론 속도를 최대 5.7% 향상시킨 기법을 분석합니다.#SGLang#HunyuanVideo#Sequence Parallelism#DeepSpeed Ulysses#Distributed Computing2026년 6월 20일댓글 수 로딩 중
[vllm] vLLM Qwen3-VL 멀티 비디오 프롬프트 처리 최적화 분석텍스트 기반 프롬프트 확장 방식을 토큰 수준 치환으로 변경하여 성능 향상 및 EVS 버그를 해결했습니다.#vLLM#Qwen3-VL#Optimization#LLM#Multimodal2026년 6월 20일댓글 수 로딩 중
[axolotl] Axolotl, Marlin W4A16 도입으로 MoE 모델 추론 속도 1.79배 향상 및 품질 개선Axolotl이 Marlin W4A16 백엔드를 도입하여 MoE 모델의 추론 속도를 1.79배 높이고, 활성화 양자화 오류를 제거하여 모델 품질을 향상시켰습니다.#Axolotl#Marlin#MoE#DeepSeek-V4#W4A16#BF16#Quantization#Optimization#Deep Learning#LLM2026년 6월 20일댓글 수 로딩 중
[sglang] SGLang: AMD GPU 환경에서의 DeepSeek-V4 성능 최적화 분석AMD GPU 환경에서 MLA GEMM 및 RoPE 연산을 최적화하여 추론 성능을 최대 8.8% 향상시킨 사례 분석#SGLang#AMD#DeepSeek-V4#Triton#GEMM#RoPE2026년 6월 20일댓글 수 로딩 중
[sglang] SGLang LTX-2 최적화: LoRA 병합 오버헤드 제거를 통한 추론 성능 향상LTX-2 모델의 stage-1 distilled LoRA를 베이스 모델에 사전 병합하여, 요청마다 발생하는 병합/해제 오버헤드를 제거했습니다.#SGLang#LTX-2#LoRA#Optimization#Inference2026년 6월 19일댓글 수 로딩 중
[sglang] LTX-2 모델 성능 최적화: NPU 및 GPU에서의 지연 시간 단축 분석LTX-2 모델의 E2E 지연 시간을 NPU에서 27%, GPU에서 3% 단축한 코드 변경 분석.#sglang#LTX-2#성능 최적화#NPU#GPU#RMSNorm#FlashAttention2026년 6월 19일댓글 수 로딩 중
[cpython] CPython의 PyCriticalSection2 최적화: 중복 락 획득 방지CPython의 PyCriticalSection2에서 이미 획득한 락을 재귀적으로 다시 획득하지 않도록 최적화하여 성능을 개선했습니다.#CPython#Concurrency#Optimization#Locking#Internals2026년 6월 19일댓글 수 로딩 중
[cpython] CPython 3.14: PyCriticalSection2의 동일 락 재획득 방지 최적화 분석CPython 3.14에서 PyCriticalSection2의 동일 락 재획득 방지 최적화 분석 및 그 의미를 살펴봅니다.#Python#CPython#Optimization#Concurrency#Critical Section2026년 6월 19일댓글 수 로딩 중
[triton] Triton Autotuner 최적화: Pruned Config가 하나일 때 불필요한 벤치마크 생략하기Triton Autotuner에서 설정이 하나로 압축될 경우, 불필요한 벤치마킹 과정을 건너뛰어 성능을 개선한 사례를 분석합니다.#Triton#Autotuner#Performance#Optimization#Compiler2026년 6월 18일댓글 수 로딩 중
[ray] Ray RLlib의 비동기 학습 성능 최적화: PULL 기반 EnvRunnerStateServer 도입RLlib의 비동기 알고리즘(IMPALA, APPO)에서 가중치 동기화 방식을 PUSH에서 PULL 모델로 전환하여 오프폴리시 지연을 20% 개선했습니다.#Ray#RLlib#ReinforcementLearning#DistributedSystems#PerformanceOptimization2026년 6월 18일댓글 수 로딩 중
[vllm] vLLM Mooncake KV 오프로딩 최적화: 불필요한 KV 조회 건너뛰기vLLM의 Mooncake KV 오프로딩 성능 향상: 불필요한 KV 조회 건너뛰고 스토리지 오버헤드 감소#vLLM#LLM#KV Cache#Optimization#Performance2026년 6월 18일댓글 수 로딩 중
[sglang] Mamba GDN의 컨볼루션 캐시 최적화: 메모리 사용량 절반으로 줄이기Mamba 및 GDN 모델에서 컨볼루션 캐시 메모리 사용량을 절반으로 줄이는 최적화 기법을 소개합니다.#Mamba#GDN#최적화#메모리 관리#SGLang2026년 6월 18일댓글 수 로딩 중
[sglang] SGLang의 Linear-Attention 성능 최적화: int8 체크포인트 풀 도입Linear-attention 모델의 Radix 캐시 효율을 int8 양자화로 2배 높여, 메모리 제약 없이 더 많은 프리픽스를 재사용하는 최적화 기법.#SGLang#Linear-Attention#Optimization#Quantization#LLM2026년 6월 18일댓글 수 로딩 중
[ray] Ray Core의 Lock Contention 해결: Publisher의 비동기 처리 도입Ray의 Object Pubsub 로직을 IO 스레드로 분리하여 스케줄링 루프의 Lock Contention을 획기적으로 개선한 사례를 분석합니다.#Ray#C++#Concurrency#Performance#Distributed Systems2026년 6월 17일댓글 수 로딩 중
[sglang] SGLang 성능 최적화: Speculative Decoding의 H2D 병목 해결 및 코드 중복 제거Speculative Decoding 경로에서 발생하는 동기식 H2D 복사를 비동기 방식으로 최적화하고, 중복된 로직을 통합하여 성능을 개선했습니다.#SGLang#LLM#Performance#PyTorch#SpeculativeDecoding2026년 6월 17일댓글 수 로딩 중
[sglang] [성능 최적화] SGLang `prepare_for_decode`에서 `latest_output_ids` H2D 복사 비동기화로 디코딩 처리량 30% 향상SGLang 디코딩 과정에서 `latest_output_ids`의 H2D 복사를 비동기화하여 성능을 크게 개선한 사례 분석.#SGLang#PyTorch#CUDA#성능 최적화#GPU#LLM#H2D#비동기 프로그래밍2026년 6월 17일댓글 수 로딩 중
[vllm] vLLM에서 Flashinfer 기반 Non-gated MoE bf16 지원 최적화 분석vLLM의 Flashinfer-TRTLLM 백엔드에 Non-gated MoE bf16 지원을 추가하여 성능을 약 15% 향상시킨 기술적 변경사항을 분석합니다.#vLLM#MoE#Flashinfer#DeepLearning#Optimization2026년 6월 17일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU: Reduce 연산 최적화를 통한 성능 향상WebGPU 환경에서 ReduceMean 연산 시 발생하는 불필요한 Transpose 오버헤드를 제거하여 모델 추론 속도를 개선한 사례를 분석합니다.#ONNXRuntime#WebGPU#Optimization#Performance#GPGPU2026년 6월 16일댓글 수 로딩 중