[vllm] vLLM의 대규모 모델 추론을 위한 MRV2 기반 Prefill Context Parallelism(PCP) 도입MLA 모델을 위한 MRV2 기반의 PCPManager를 도입하여 Prefill 연산을 병렬화하고, DCP와 PCP를 직교적으로 분리하여 확장성을 개선했습니다.#vLLM#LLM#MLA#Context Parallelism#Distributed Inference2026년 7월 19일댓글 수 로딩 중
[논문리뷰] Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking본 논문은 트랜스포머 모델의 장문 시퀀스 훈련에서 기존 컨텍스트 병렬화 기법들이 직면하는 활성화 메모리 병목 현상 을 해결하여 지원 가능한 시퀀스 길이를 확장하는 것을 목표로 합니다. 특히, 메모리 효율성을 높이면서도 훈련 처리량은 유지하는 새로운 방법론을 제시하고자 합니다.#Review#Context Parallelism#Memory Efficiency#Headwise Chunking#Transformer Training#DeepSpeed Ulysses#LLMs#Activation Memory#Flash Attention2026년 2월 24일댓글 수 로딩 중