[axolotl] Axolotl의 SinkGD 최적화: Triton 커널과 스펙트럼 정규화로 성능 극대화SinkGD 옵티마이저에 도입된 Triton 커널, 스펙트럼 정규화, 그리고 MD-sphere 기법을 통한 학습 효율 및 속도 개선 분석.#Axolotl#SinkGD#Triton#DeepLearning#Optimization2026년 7월 12일댓글 수 로딩 중
[axolotl] Axolotl에 도입된 Stateless 최적화: SinkGD로 메모리 효율 극대화하기SinkGD를 통해 LLM 학습 시 옵티마이저 상태 메모리를 87% 절감하고 성능을 유지하는 최적화 기법을 분석합니다.#LLM#Optimization#SinkGD#PyTorch#Axolotl2026년 6월 30일댓글 수 로딩 중