[TensorRT] PyTorch TensorRT: 메모리 복사 제거를 통한 엔진 빌드 최적화TensorRT 엔진 생성 시 발생하는 불필요한 메모리 복사를 제거하여 호스트 메모리 사용량을 절반으로 줄인 최적화 사례를 분석합니다.#PyTorch#TensorRT#C++#Memory Optimization#Performance2026년 10월 20일댓글 수 로딩 중
[flashinfer] FlashInfer CAKE GDN 백엔드 최적화: 코드베이스 경량화 및 템플릿 기반 렌더링 도입CAKE GDN 백엔드의 중복 코드를 제거하고 템플릿 기반 호스트 심을 도입하여 코드베이스를 40% 이상 축소한 최적화 사례.#FlashInfer#CUDA#KernelOptimization#JIT#C++2026년 10월 18일댓글 수 로딩 중
[onnxruntime] ONNX Runtime의 CPU BatchNormalization 성능 최적화: NC 입력 데이터 처리 개선NC 형태의 입력 데이터에 대해 BatchNormalization 연산을 벡터화하여 CPU 추론 및 학습 성능을 최대 13배 향상시킨 사례를 분석합니다.#ONNX Runtime#C++#Performance Optimization#BatchNormalization#SIMD2026년 10월 7일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CPU Col2im 최적화: 메모리 접근 및 경계 검사 개선ConvTranspose 연산의 핵심인 Col2im 함수에서 메모리 접근 패턴을 개선하고 불필요한 경계 검사를 제거하여 성능을 대폭 향상했습니다.#ONNXRuntime#C++#Optimization#Performance#ConvTranspose2026년 9월 22일댓글 수 로딩 중
[sglang] SGLang, KV VMM 할당자 스텁 최적화를 통한 시작 시간 및 라이브러리 크기 대폭 개선SGLang의 KV VMM 할당자 스텁 빌드 시 불필요한 PyTorch 헤더 포함을 제거하여 시작 시간과 라이브러리 크기를 획기적으로 줄였습니다.#SGLang#최적화#성능#PyTorch#C++#빌드 시스템2026년 8월 1일댓글 수 로딩 중
[onnxruntime] [ONNX Runtime] CPU GQA 성능의 한계를 넘다: FP16 입력과 양자화된 KV 캐시 최적화 분석FP16 활성화 함수와 INT8/INT4 KV 캐시를 결합하여 CPU 추론 성능을 극대화한 ONNX Runtime의 최신 GQA 최적화 기법을 살펴봅니다.#ONNX Runtime#LLM Optimization#CPU Inference#SIMD#C++2026년 7월 24일댓글 수 로딩 중
[ray] [Ray] gRPC 메트릭 객체 재사용을 통한 GCS 확장성 개선 (13% 성능 향상)gRPC 요청마다 생성되던 메트릭 객체를 프로세스 단위로 싱글톤화하여 GCS 부하를 줄이고 대규모 액터 스케줄링 성능을 13% 개선한 사례를 분석합니다.#Ray#gRPC#Performance Optimization#C++#Distributed Systems2026년 7월 14일댓글 수 로딩 중
[논문리뷰] Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots본 논문은 현대의 Embodied AI 모델들이 요구하는 복잡한 실행 조건을 기존의 범용 LLM/VLM 추론 런타임이 충족하지 못하는 문제를 해결하고자 합니다.#Review#Embodied AI#Inference Runtime#VLA#WAM#C++#Heterogeneous Computing#Closed-loop Control2026년 7월 5일댓글 수 로딩 중
[ray] Ray Object Manager의 Pull RPC 배치 처리 최적화 분석Ray의 PullManager에서 개별 객체 요청을 배치 RPC로 통합하여 네트워크 오버헤드와 CPU 사용량을 획기적으로 개선한 사례를 분석합니다.#Ray#Distributed Systems#RPC#Optimization#C++2026년 7월 1일댓글 수 로딩 중
[faster-qwen3-tts] Qwen3-TTS, GGML 백엔드 통합으로 속도 혁신: C++ 네이티브 백엔드의 놀라운 성능 향상Qwen3-TTS에 GGML 백엔드를 통합하여 C++ 네이티브 구현을 통해 획기적인 성능 개선을 달성했습니다.#Qwen3-TTS#GGML#성능 최적화#C++#TTS2026년 6월 29일댓글 수 로딩 중
[ray] Ray Core의 Lock Contention 해결: Publisher의 비동기 처리 도입Ray의 Object Pubsub 로직을 IO 스레드로 분리하여 스케줄링 루프의 Lock Contention을 획기적으로 개선한 사례를 분석합니다.#Ray#C++#Concurrency#Performance#Distributed Systems2026년 6월 17일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CPU ScatterElements 커널의 멀티스레딩 최적화 분석CPU ScatterElements 연산을 ThreadPool을 활용해 병렬화하여 129배의 성능 향상을 달성한 사례를 분석합니다.#ONNXRuntime#C++#Optimization#MultiThreading#Performance2026년 5월 22일댓글 수 로딩 중
[sglang] SGLang Ngram Speculative Decoding 최적화: MatchState 증분 업데이트 성능 개선Ngram 기반 Speculative Decoding에서 MatchState 업데이트 시 불필요한 힙 할당을 제거하고 성능을 1.4배 향상시킨 사례를 분석합니다.#SGLang#Speculative Decoding#C++#Performance Optimization#Trie2026년 4월 6일댓글 수 로딩 중
[sglang] SGLang Ngram 추측 디코딩: 외부 코퍼스 기반 Suffix Automaton 통합으로 성능 최적화SGLang의 Ngram 추측 디코딩에 외부 코퍼스 기반 Suffix Automaton을 도입하여 성능을 개선합니다.#SGLang#Ngram#Speculative Decoding#Suffix Automaton#성능 최적화#LLM#Python#C++2026년 4월 6일댓글 수 로딩 중
[sglang] sgl-kernel 레거시 경로 대규모 제거: AOT에서 JIT로의 전환 완성SGLang에서 sgl-kernel AOT(Ahead-of-Time) 빌드 의존성 1,708줄을 삭제하고 JIT 커널만 남긴 대규모 정리 분석.#SGLang#sgl-kernel#JIT#AOT#Cleanup#CUDA#C++2026년 4월 1일댓글 수 로딩 중
[Ray Core] OOM Killer에서 대용량 메모리를 점유한 유휴 워커를 우선 종료메모리 부족 시 태스크가 할당된 워커만 종료하던 OOM Killer를 개선하여, 유휴 상태에서 대량 메모리를 점유하는 워커를 우선 종료하도록 변경한 분석.#Ray#C++#Performance#OOM#Memory Management2026년 3월 16일댓글 수 로딩 중
[Ray] 다중 gRPC 연결로 오브젝트 전송 처리량 향상GRPC_ARG_USE_LOCAL_SUBCHANNEL_POOL 옵션으로 오브젝트 매니저의 gRPC 연결을 다중화하여 전송 대역폭을 확대한 분석.#Ray#C++#Performance#gRPC#Networking2026년 2월 24일댓글 수 로딩 중
[Ray Core] Memory Monitor의 OS별 조건부 컴파일 패턴 적용메모리 모니터를 인터페이스 분리 + OS별 빌드로 리팩토링하여 유지보수성과 확장성 개선.#Ray#C++#Performance#Memory Management#Architecture2026년 2월 18일댓글 수 로딩 중
[Ray] 메모리 모니터 리팩터링: cgroup 경로 주입으로 테스트 가능성 확보Ray의 메모리 모니터에 cgroup 경로를 주입할 수 있도록 리팩터링하여 가짜 cgroup으로 메모리 사용량을 모킹할 수 있게 한 PR 분석.#Ray#C++#Memory Monitor#Testability#Dependency Injection#Resource Isolation2026년 2월 6일댓글 수 로딩 중
[Ray] Ray gRPC 토큰 인증 최적화 -- shared_ptr 캐싱optional에서 shared_ptr로 토큰 관리를 전환해 매 RPC 호출마다 발생하던 객체 복사를 제거#Ray#gRPC#Authentication#C++2025년 12월 23일댓글 수 로딩 중
[triton] Triton PROTON: CUDA 그래프 프로파일링 오버헤드를 줄이고 MsgPack API를 추가하여 성능을 대폭 개선Triton PROTON 라이브러리의 CUDA 그래프 프로파일링 오버헤드를 줄이고 MsgPack 직렬화 API를 추가하여 성능을 3배~10배 향상시킨 코드 변경 분석.#Triton#PROTON#CUDA#Profiling#Optimization#MsgPack#C++#Python2025년 12월 19일댓글 수 로딩 중
[Ray Core] 메모리 스토어와 플라즈마 스토어에서 참조 카운터 분리 리팩터링Ray의 CoreWorker에서 메모리 스토어와 플라즈마 스토어에 결합되어 있던 참조 카운터 로직을 상위 레이어로 분리하여, 코드 얽힘을 해소하고 유지보수성을 개선한 PR을 분석합니다.#Ray#Ray Core#Refactoring#C++#Memory Management#Reference Counting2025년 11월 13일댓글 수 로딩 중
[Ray Core] request ID 생성을 worker로 이동하여 plasma get 성능 회귀 수정동기 AsyncGet 응답 대기를 제거하여 plasma store get 처리량 2배 복구#Ray#Plasma Store#C++#Performance2025년 11월 12일댓글 수 로딩 중