[onnxruntime] ONNX Runtime MoEPacked GGUF 오프로드 최적화: 3-Stage Prefill 파이프라인과 F16C·Batch-4 Cold DecodeH2D 더블버퍼링과 F16C 하드웨어 변환으로 TTFT를 최대 25.9% 줄이고 decode 속도를 최대 2.5배로 높였다#onnxruntime#CUDA#MoE#AVX2#F16C#GGUF#CUDA Streams#Performance2026년 11월 13일댓글 수 로딩 중
[onnxruntime] MoEPacked 멀티토큰 검증 최적화: CPU 콜드 라우트 Batch-2 AVX2와 GPU FC2 디코드 재설계투기적 디코딩 M=4/8 검증 단계를 CPU·GPU 양쪽에서 최대 33% 단축한 MoE 최적화 분석#onnxruntime#MoE#AVX2#CUDA#GGUF#speculative-decoding#quantization2026년 11월 12일댓글 수 로딩 중
[onnxruntime] GGUF 블록 패킹 가중치를 그대로 실행하기: ONNX Runtime의 GatherPacked·MatMulPacked·MoEPackedGGUF 양자화 가중치를 repack 없이 CUDA에서 직접 디코딩·GEMM·MoE까지 수행하는 contrib op 3종 분석#onnxruntime#CUDA#quantization#GGUF#MoE#TensorCore2026년 11월 9일댓글 수 로딩 중
[transformers] Hugging Face Transformers, GGUF 추론 속도 향상을 위한 대대적인 리팩토링Hugging Face Transformers 라이브러리가 GGUF 모델 추론 속도 향상을 위해 대대적인 리팩토링을 진행했습니다.#transformers#GGUF#inference#optimization#quantization#llama.cpp#kernels2026년 9월 4일댓글 수 로딩 중
[논문리뷰] RAMP: Reinforcement Adaptive Mixed Precision Quantization for Efficient On Device LLM Inference최근 Large Language Models (LLMs)는 자연어 처리 분야를 혁신했지만, FP16 포맷의 Llama-2-13B 모델이 26GB 의 memory를 요구하는 등 막대한 memory requirement로 인해 consumer GPU나 edge device에 배포하는 데 어려움을 겪는 Memory Wall 문제가 존재합니다.#Review#Mixed-Precision Quantization#Reinforcement Learning#Post-Training Quantization#Large Language Models#Policy Transfer#Scale Folding#GGUF#On-Device Inference2026년 3월 18일댓글 수 로딩 중
[논문리뷰] Performance Trade-offs of Optimizing Small Language Models for E-Commerce본 논문은 대규모 상용 LLM의 높은 비용과 리소스 제약 문제를 해결하기 위해, 소규모 오픈-웨이트 모델이 특정 도메인 작업에서 효율적인 대안이 될 수 있는지 검증하는 것을 목표로 합니다.#Review#Small Language Models#E-commerce#Intent Recognition#Fine-tuning#QLoRA#Quantization#GPTQ#GGUF#Hardware-aware Optimization2025년 10월 31일댓글 수 로딩 중