[onnxruntime] ONNX Runtime CPU QMoE 최적화: INT2 AVX-512/AVX2 커널 도입 및 수치 안정성 개선QMoE CPU 실행을 위한 고성능 INT2 커널 추가와 수치적 안정성을 위한 정밀한 반올림 정책 및 오버플로우 방지 기법을 분석합니다.#ONNX Runtime#QMoE#AVX-512#SIMD#Optimization2026년 11월 4일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA NVFP4 QMoE 성능 최적화: 256개 전문가 라우팅 및 GEMV 커널 개선ONNX Runtime CUDA에서 NVFP4 QMoE 모델의 성능을 획기적으로 개선하는 최적화 기법을 소개합니다.#ONNX Runtime#CUDA#QMoE#NVFP4#최적화#성능 개선#LLM2026년 11월 2일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA QMoE 및 FP8 최적화: 성능 향상 및 메모리 효율성 증대ONNX Runtime CUDA에서 NVFP4 가중치 레이아웃 및 블록 스케일 FP8 실행을 최적화하여 대규모 MoE 모델의 성능과 메모리 효율성을 개선했습니다.#ONNX Runtime#CUDA#Optimization#FP8#MoE#QMoE#NVFP4#Performance2026년 10월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU QMoE: 단일 토큰 라우팅 최적화로 성능 대폭 향상ONNX Runtime WebGPU에서 QMoE의 단일 토큰 라우팅 로직을 최적화하여 성능을 크게 개선한 PR 분석#ONNX Runtime#WebGPU#QMoE#최적화#성능#딥러닝2026년 10월 9일댓글 수 로딩 중
[onnxruntime] ONNX Runtime QMoE SwiGLU GEMV 최적화: Split-K2 커널로 LLM 추론 가속화ONNX Runtime의 Split-K2 SwiGLU GEMV 커널로 QMoE FC1 레이어 성능을 개선합니다.#ONNXRuntime#CUDA#GEMV#Split-K2#LLM#Optimization#SwiGLU#QMoE2026년 6월 30일댓글 수 로딩 중