[LlamaFactory] Qwen3.5 모델의 GDN 선형 어텐션에 대한 시퀀스 병렬 처리 및 Pack 지원 추가Qwen3.5 모델의 GDN 선형 어텐션 레이어에 시퀀스 병렬 처리와 Pack 기능을 적용하여 GPU 활용도를 높였습니다.#LLM#Qwen3.5#Sequence Parallel#Context Parallel#GDN#Flash Attention#Optimization2026년 8월 20일댓글 수 로딩 중
[axolotl] Context Parallel 이중 시퀀스 분할 버그 수정: noop context manager로 중복 적용 방지Context Parallel 학습 시 accelerate와 axolotl이 시퀀스를 이중으로 분할하는 문제를 noop context manager 패치로 해결한 사례를 분석합니다.#Axolotl#Context Parallel#Distributed Training#Bug Fix2026년 3월 20일댓글 수 로딩 중
[axolotl] Context Parallelism batch_size 및 total_num_steps 계산 수정Context Parallel 환경에서 batch_size가 과대 계산되고 total_num_steps에 CP size가 잘못 곱해지던 버그를 effective dp world_size 기반으로 수정한 사례를 분석합니다.#Axolotl#Context Parallel#Distributed Training#Bug Fix2026년 3월 2일댓글 수 로딩 중