[onnxruntime] ONNX Runtime CPU QMoE 최적화: INT2 AVX-512/AVX2 커널 도입 및 수치 안정성 개선QMoE CPU 실행을 위한 고성능 INT2 커널 추가와 수치적 안정성을 위한 정밀한 반올림 정책 및 오버플로우 방지 기법을 분석합니다.#ONNX Runtime#QMoE#AVX-512#SIMD#Optimization2026년 11월 4일댓글 수 로딩 중
[onnxruntime] ONNX Runtime의 CPU BatchNormalization 성능 최적화: NC 입력 데이터 처리 개선NC 형태의 입력 데이터에 대해 BatchNormalization 연산을 벡터화하여 CPU 추론 및 학습 성능을 최대 13배 향상시킨 사례를 분석합니다.#ONNX Runtime#C++#Performance Optimization#BatchNormalization#SIMD2026년 10월 7일댓글 수 로딩 중
[onnxruntime] [ONNX Runtime] CPU GQA 성능의 한계를 넘다: FP16 입력과 양자화된 KV 캐시 최적화 분석FP16 활성화 함수와 INT8/INT4 KV 캐시를 결합하여 CPU 추론 성능을 극대화한 ONNX Runtime의 최신 GQA 최적화 기법을 살펴봅니다.#ONNX Runtime#LLM Optimization#CPU Inference#SIMD#C++2026년 7월 24일댓글 수 로딩 중
[uv] uv, SIMD 가속 TOML 파싱으로 성능 향상uv가 SIMD 가속 TOML 파싱 기능을 활성화하여 파싱 속도를 개선했습니다.#Rust#Performance#Optimization#SIMD#TOML#uv2026년 7월 1일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CPU GQA 최적화: INT8/INT4 양자화 KV 캐시와 SIMD 가속CPU 환경에서 LLM 추론 성능을 극대화하기 위해 INT8/INT4 양자화 KV 캐시와 AVX512/NEON SIMD 커널을 도입한 최적화 사례를 분석합니다.#ONNX Runtime#LLM#Quantization#SIMD#Performance2026년 5월 21일댓글 수 로딩 중
[onnxruntime] ONNX Runtime의 RISC-V Vector(RVV) 최적화: SGEMM과 Softmax 성능을 3배로 끌어올리기RISC-V 아키텍처에서 스칼라 연산에 의존하던 ONNX Runtime이 RVV 확장을 통해 SGEMM 및 Softmax 연산 성능을 최대 3.6배 개선했습니다.#ONNXRuntime#RISC-V#RVV#Optimization#MLAS#SIMD2026년 4월 30일댓글 수 로딩 중