[flashinfer] Blackwell 시대를 위한 Mamba-2 SSD 최적화: FlashInfer의 네 번째 성능 개선 라운드 분석Blackwell 아키텍처(SM100/103)에서 Mamba-2 SSD prefill 성능을 극대화하기 위한 정밀도 확장 및 메모리 접근 최적화 기법 분석.#Mamba-2#Blackwell#CUDA#FlashInfer#SSD#Optimization2026년 10월 10일댓글 수 로딩 중
[논문리뷰] The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction본 연구는 대규모 MoE 모델을 단일 GPU에서 구동할 때 발생하는 극심한 Memory Wall 문제를 해결하는 데 집중합니다. 기존 연구들은 주로 Weight Quantization이나 Weight Pruning을 통해 모델 크기를 줄여 VRAM 내에 적재하려 시도했으나, 이는 모델의 Accuracy 저하를 초래합니다.#Review#Mixture-of-Experts#SSD#Memory Wall#Routing Prediction#LLM Inference#Throughput2026년 9월 16일댓글 수 로딩 중