[논문리뷰] Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels기존의 Weight-Decomposed Low-Rank Adaptation (DoRA) 구현은 특히 high-rank 설정에서 심각한 메모리 및 성능 병목 현상을 겪습니다.#Review#DoRA#Low-Rank Adaptation#Parameter-Efficient Fine-Tuning#Fused Kernels#Memory Optimization#Performance Scaling#Triton2026년 3월 23일댓글 수 로딩 중
[Axolotl] LoRA 커널에 bias, dropout, DoRA, embedding 지원 추가Axolotl의 Triton LoRA 커널을 확장하여 bias 파라미터, dropout, DoRA(Weight-Decomposed LoRA), embedding 레이어를 지원하도록 개선한 분석.#Axolotl#LoRA#DoRA#Triton#LLM Training#Performance#PEFT2026년 3월 22일댓글 수 로딩 중