[vLLM] 기타 Attention Backends: GDN, Flex, Triton, DiffKV, MLA Sparse, CPU/ROCmvLLM의 다양한 어텐션 백엔드를 분석한다. GatedDeltaNet, FlexAttention, Triton, DiffKV, MLA Sparse, ROCm AIter 등의 구현 특징을 살펴본다.#vllm#attention#backends#triton#rocm2026년 4월 8일댓글 수 로딩 중
[vLLM] RoPE 변형: 15+ 로타리 위치 인코딩vLLM에 구현된 15가지 이상의 RoPE 변형을 총정리하고, 기본 구현부터 YaRN, Llama3 RoPE까지의 코드 구조를 분석한다.#vllm#rope#positional-encoding#attention2026년 4월 7일댓글 수 로딩 중
[vLLM] FlashInfer: LLM 서빙에 특화된 어텐션 엔진Prefill과 Decode를 분리 최적화하고 다양한 KV 캐시 포맷을 지원하는 FlashInfer 백엔드의 vLLM 통합 구조를 분석한다.#vllm#flashinfer#attention#decode-optimization2026년 4월 7일댓글 수 로딩 중
[vLLM] FlashAttention: IO-aware 타일링으로 어텐션 연산을 가속하는 원리GPU 메모리 계층을 고려한 타일링 기법으로 어텐션 연산의 IO 병목을 해결하는 FlashAttention의 vLLM 통합 구조를 분석한다.#vllm#flash-attention#gpu-optimization#attention2026년 4월 7일댓글 수 로딩 중