[논문리뷰] ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning본 논문은 기존 Mixture-of-LoRAs(MoLoRA) 모델에서 발생하는 '루팅 가중치 붕괴(routing weight collapse)' 문제를 해결하고자 합니다. 이 문제는 루팅 가중치가 특정 LoRA에 집중되어 나머지 LoRA의 활용도가 떨어지는 현상으로, 모델의 표현력을 제한합니다.#Review#LLM Finetuning#LoRA#Mixture of Experts (MoE)#Reinforcement Learning#Parameter-Efficient Finetuning (PEFT)#Routing#Weight Collapse2026년 3월 11일댓글 수 로딩 중