[axolotl] FSDP CPU RAM Efficient Loading 패치: non-rank-0 프로세스의 불필요한 가중치 초기화 방지FSDP 분산 학습에서 cpu_ram_efficient_loading 사용 시 non-rank-0 프로세스가 가중치를 재초기화하는 문제를 monkeypatch로 해결한 사례를 분석합니다.#Axolotl#FSDP#Distributed Training#Memory Optimization#Monkeypatch2026년 3월 16일댓글 수 로딩 중
[논문리뷰] veScale-FSDP: Flexible and High-Performance FSDP at ScaleCong Xie이 arXiv에 게시한 'veScale-FSDP: Flexible and High-Performance FSDP at Scale' 논문에 대한 자세한 리뷰입니다.#Review#FSDP#Distributed Training#LLM#GPU Scaling#Memory Optimization#Performance Optimization#Structure-Aware Training#RaggedShard2026년 2월 26일댓글 수 로딩 중
[논문리뷰] Revisiting Parameter Server in LLM Post-TrainingarXiv에 게시된 'Revisiting Parameter Server in LLM Post-Training' 논문에 대한 자세한 리뷰입니다.#Review#LLM Post-Training#Parameter Server#Distributed Training#FSDP#On-Demand Communication#Workload Imbalance#Communication Optimization#Deep Learning2026년 1월 27일댓글 수 로딩 중
[논문리뷰] VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe ZooBin Jia이 arXiv에 게시한 'VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo' 논문에 대한 자세한 리뷰입니다.#Review#Omni-modal LLMs#Distributed Training#Model-centric#Parallelism#FSDP#Sequence Parallelism#Expert Parallelism#Mixture-of-Experts2025년 8월 5일댓글 수 로딩 중