[transformers] DeepGEMM Mega MoE를 EP 구현체로 편입하기: 라우터 스타일을 버리고 슬라이스+all-gather로 최대 9배 빨라진 MoE 추론Mega MoE를 ep_dispatch_experts 플랜의 EP 구현체로 옮겨 버퍼 공유와 함께 최대 9.1x 가속#transformers#MoE#Expert Parallelism#DeepGEMM#CUDA Graph#Distributed2026년 11월 12일댓글 수 로딩 중
[transformers] bad_words_ids를 100배 빠르게: 다중 토큰 시퀀스를 prefix 길이별로 묶어 한 번에 매칭하기Python 루프를 prefix 길이별 broadcast 비교와 index_add_로 바꿔 200단어 처리 17ms→0.18ms#transformers#PyTorch#generation#performance#vectorization2026년 11월 10일댓글 수 로딩 중
[transformers] Hugging Face Transformers, GGUF 추론 속도 향상을 위한 대대적인 리팩토링Hugging Face Transformers 라이브러리가 GGUF 모델 추론 속도 향상을 위해 대대적인 리팩토링을 진행했습니다.#transformers#GGUF#inference#optimization#quantization#llama.cpp#kernels2026년 9월 4일댓글 수 로딩 중
[transformers] Hugging Face Transformers: MoE 및 FP8 커널 최적화를 통한 성능 향상Hugging Face Transformers 라이브러리의 MoE 및 FP8 커널 최적화를 통해 성능을 개선하고 안정성을 높인 PR 분석#transformers#optimization#MoE#FP8#performance#kernel2026년 5월 4일댓글 수 로딩 중