[sglang] [HunyuanVideo] Sequence Parallelism 최적화: Text Token Sharding으로 성능 한계 돌파하기HunyuanVideo 모델에서 텍스트 토큰을 분산 처리하여 중복 연산을 제거하고 추론 속도를 최대 5.7% 향상시킨 기법을 분석합니다.#SGLang#HunyuanVideo#Sequence Parallelism#DeepSpeed Ulysses#Distributed Computing2026년 6월 20일댓글 수 로딩 중
[논문리뷰] Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking본 논문은 트랜스포머 모델의 장문 시퀀스 훈련에서 기존 컨텍스트 병렬화 기법들이 직면하는 활성화 메모리 병목 현상 을 해결하여 지원 가능한 시퀀스 길이를 확장하는 것을 목표로 합니다. 특히, 메모리 효율성을 높이면서도 훈련 처리량은 유지하는 새로운 방법론을 제시하고자 합니다.#Review#Context Parallelism#Memory Efficiency#Headwise Chunking#Transformer Training#DeepSpeed Ulysses#LLMs#Activation Memory#Flash Attention2026년 2월 24일댓글 수 로딩 중