[논문리뷰] ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuningarXiv에 게시된 'ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning' 논문에 대한 자세한 리뷰입니다.#Review#LLM Finetuning#LoRA#Mixture of Experts (MoE)#Reinforcement Learning#Parameter-Efficient Finetuning (PEFT)#Routing#Weight Collapse2026년 3월 11일댓글 수 로딩 중
[axolotl] ScatterMoE 커널 라우팅 통합: Softmax/Sigmoid 기반 라우팅과 Autotune Telemetry 추가MoE 모델의 다양한 라우팅 전략(Softmax TopK, Sigmoid TopK)을 통합 함수로 정리하고, Triton autotune 결과를 자동 수집하는 telemetry callback을 추가한 사례를 분석합니다.#Axolotl#MoE#ScatterMoE#Triton#Routing#Telemetry2026년 3월 6일댓글 수 로딩 중
[논문리뷰] Stabilizing MoE Reinforcement Learning by Aligning Training and Inference RoutersarXiv에 게시된 'Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers' 논문에 대한 자세한 리뷰입니다.#Review#MoE#Reinforcement Learning#Training Stability#Routing#Policy Alignment#Rollout Routing Replay#LLMs2025년 10월 27일댓글 수 로딩 중