[flashinfer] [FlashInfer] Softmax 루프 최적화: Register Spill 방지를 위한 Tail Masking 분리 전략FlashInfer에서 S % 128 != 0인 경우 발생하는 Register Spilling 문제를 Softmax 루프 밖으로 Masking을 분리하여 해결하고 성능을 19% 개선한 사례를 분석합니다.#FlashInfer#CUDA#Optimization#LLM#Softmax#Register-Spilling2026년 9월 29일댓글 수 로딩 중
[sglang] SGLang EAGLE 디코딩 최적화: 불필요한 Softmax 연산 제거로 성능 향상SGLang EAGLE 디코딩에서 topk=1일 때 불필요한 Softmax 연산을 제거하여 성능을 개선했습니다.#SGLang#EAGLE#Speculative Decoding#Performance Optimization#Softmax#Top-k Sampling2026년 5월 25일댓글 수 로딩 중
[논문리뷰] Limitations of Normalization in Attention Mechanism본 연구는 어텐션 메커니즘에서 사용되는 정규화, 특히 소프트맥스(softmax) 의 근본적인 한계를 밝히는 것을 목표로 합니다.#Review#Attention Mechanism#Normalization#Softmax#Transformer Models#Gradient Sensitivity#Token Separability#Context Length#GPT-22025년 8월 26일댓글 수 로딩 중