[axolotl] Context Parallel 이중 시퀀스 분할 버그 수정: noop context manager로 중복 적용 방지Context Parallel 학습 시 accelerate와 axolotl이 시퀀스를 이중으로 분할하는 문제를 noop context manager 패치로 해결한 사례를 분석합니다.#Axolotl#Context Parallel#Distributed Training#Bug Fix2026년 3월 20일댓글 수 로딩 중
[axolotl] Tensor Parallelism batch_size 계산 버그 수정: dp_world_size 기반으로 전환Tensor Parallelism 환경에서 batch_size와 total_num_steps가 잘못 계산되던 버그를 dp_world_size 기반으로 수정하고, 파라미터화된 테스트를 추가한 사례를 분석합니다.#Axolotl#Tensor Parallelism#Distributed Training#Bug Fix2026년 3월 20일댓글 수 로딩 중
[axolotl] FSDP CPU RAM Efficient Loading 패치: non-rank-0 프로세스의 불필요한 가중치 초기화 방지FSDP 분산 학습에서 cpu_ram_efficient_loading 사용 시 non-rank-0 프로세스가 가중치를 재초기화하는 문제를 monkeypatch로 해결한 사례를 분석합니다.#Axolotl#FSDP#Distributed Training#Memory Optimization#Monkeypatch2026년 3월 16일댓글 수 로딩 중
[axolotl] Context Parallelism batch_size 및 total_num_steps 계산 수정Context Parallel 환경에서 batch_size가 과대 계산되고 total_num_steps에 CP size가 잘못 곱해지던 버그를 effective dp world_size 기반으로 수정한 사례를 분석합니다.#Axolotl#Context Parallel#Distributed Training#Bug Fix2026년 3월 2일댓글 수 로딩 중
[논문리뷰] veScale-FSDP: Flexible and High-Performance FSDP at ScaleCong Xie이 arXiv에 게시한 'veScale-FSDP: Flexible and High-Performance FSDP at Scale' 논문에 대한 자세한 리뷰입니다.#Review#FSDP#Distributed Training#LLM#GPU Scaling#Memory Optimization#Performance Optimization#Structure-Aware Training#RaggedShard2026년 2월 26일댓글 수 로딩 중
[논문리뷰] Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based OptimizersarXiv에 게시된 'Canzona: A Unified, Asynchronous, and Load-Balanced Framework for Distributed Matrix-based Optimizers' 논문에 대한 자세한 리뷰입니다.#Review#Distributed Training#Matrix-based Optimizers#Load Balancing#Asynchronous Compute#Data Parallelism#Tensor Parallelism#ZeRO-1#LLMs2026년 2월 8일댓글 수 로딩 중
[논문리뷰] Revisiting Parameter Server in LLM Post-TrainingarXiv에 게시된 'Revisiting Parameter Server in LLM Post-Training' 논문에 대한 자세한 리뷰입니다.#Review#LLM Post-Training#Parameter Server#Distributed Training#FSDP#On-Demand Communication#Workload Imbalance#Communication Optimization#Deep Learning2026년 1월 27일댓글 수 로딩 중
[논문리뷰] OpenTinker: Separating Concerns in Agentic Reinforcement LearningJiaxuan You이 arXiv에 게시한 'OpenTinker: Separating Concerns in Agentic Reinforcement Learning' 논문에 대한 자세한 리뷰입니다.#Review#Reinforcement Learning#LLM Agents#Multi-Agent Systems#System Architecture#Separation of Concerns#RLaaS#Distributed Training#Agent Protocol Coordination2026년 1월 12일댓글 수 로딩 중
[논문리뷰] Trove: A Flexible Toolkit for Dense RetrievalarXiv에 게시된 'Trove: A Flexible Toolkit for Dense Retrieval' 논문에 대한 자세한 리뷰입니다.#Review#Dense Retrieval#Retrieval Toolkit#Data Management#Distributed Training#Model Customization#Hard Negative Mining#Hugging Face Integration#Performance Optimization2025년 11월 9일댓글 수 로딩 중
[논문리뷰] LongCat-Flash-Omni Technical ReportBin Xiao이 arXiv에 게시한 'LongCat-Flash-Omni Technical Report' 논문에 대한 자세한 리뷰입니다.#Review#Omni-modal AI#Multimodal LLM#Real-time Interaction#Mixture-of-Experts (MoE)#Streaming Inference#Distributed Training#Curriculum Learning#Audio-Visual Perception2025년 11월 9일댓글 수 로딩 중
[Ultralytics] 학습 중 Multi-GPU 검증 지원Multi-GPU 학습 시 검증도 모든 GPU에서 병렬 수행하도록 개선한 PR 분석#Ultralytics#YOLO#Multi-GPU#Distributed Training#PyTorch2025년 10월 20일댓글 수 로딩 중
[논문리뷰] NorMuon: Making Muon more efficient and scalableTuo Zhao이 arXiv에 게시한 'NorMuon: Making Muon more efficient and scalable' 논문에 대한 자세한 리뷰입니다.#Review#LLM Training#Optimizer#Muon#Orthogonalization#Adaptive Learning Rates#Distributed Training#FSDP2#NorMuon2025년 10월 9일댓글 수 로딩 중
[논문리뷰] VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe ZooBin Jia이 arXiv에 게시한 'VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo' 논문에 대한 자세한 리뷰입니다.#Review#Omni-modal LLMs#Distributed Training#Model-centric#Parallelism#FSDP#Sequence Parallelism#Expert Parallelism#Mixture-of-Experts2025년 8월 5일댓글 수 로딩 중