[sglang] SGLang, Ulysses 어텐션의 IPC 기반 파이프라이닝으로 성능 극대화SGLang, Ulysses 어텐션의 IPC 기반 파이프라이닝으로 성능 극대화: 코드 변경 분석#SGLang#Ulysses#Optimization#IPC#Pipelining#Deep Learning#LLM2026년 10월 9일댓글 수 로딩 중
[flashinfer] FlashInfer, 통신 최적화를 통한 LLM 추론 속도 향상: Ulysses Head-Chunk Primitives 도입FlashInfer가 Ulysses Head-Chunk Primitives를 도입하여 LLM 추론 시 통신 오버헤드를 줄이고 성능을 개선했습니다.#FlashInfer#LLM#추론 최적화#통신 최적화#Ulysses#Head-Chunk2026년 9월 14일댓글 수 로딩 중
[sglang] SGLang Diffusion: 2-rank Ulysses를 위한 CUDA-IPC 기반 Zero-Staging All-to-All 최적화2-rank Ulysses 환경에서 NCCL 대신 CUDA-IPC를 사용하여 데이터 복사 오버헤드를 제거하고 전체 성능을 약 10% 향상시킨 최적화 사례.#SGLang#CUDA#NCCL#Ulysses#Performance2026년 7월 31일댓글 수 로딩 중
[논문리뷰] FVAttn: Adaptive Sparse Attention with Runtime Load Balancing for Video GenerationVideo Diffusion Transformers(Video DiTs)는 고해상도 및 장기 비디오 생성 시 발생하는 막대한 Attention 연산 비용이 추론의 주된 병목 현상으로 작용합니다.#Review#Video Diffusion Transformers#Adaptive Sparse Attention#Runtime Load Balancing#Ulysses#Sequence Parallelism#P2P Communication#Slack-Aware Sparse Augmentation2026년 7월 22일댓글 수 로딩 중