[논문리뷰] Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning본 논문은 LLM이 새로운 지식을 성공적으로 기억함에도 불구하고, 이를 활용한 downstream 추론 작업에서는 낮은 성능을 보이는 문제를 다룬다 . 기존 연구들은 주로 모델의 파라미터 업데이트나 지식 편집에 집중했으나, 지식 저장과 추론 간의 인과적 단절을 메커니즘적으로 설명하는 데에는 한계가 있었다.#Review#LLM Finetuning#Knowledge Generalization#Mechanistic Interpretability#Self-Patching#Knowing-Using Gap#Knowledge-Circuit Misalignment2026년 7월 12일댓글 수 로딩 중
[논문리뷰] ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning본 논문은 기존 Mixture-of-LoRAs(MoLoRA) 모델에서 발생하는 '루팅 가중치 붕괴(routing weight collapse)' 문제를 해결하고자 합니다. 이 문제는 루팅 가중치가 특정 LoRA에 집중되어 나머지 LoRA의 활용도가 떨어지는 현상으로, 모델의 표현력을 제한합니다.#Review#LLM Finetuning#LoRA#Mixture of Experts (MoE)#Reinforcement Learning#Parameter-Efficient Finetuning (PEFT)#Routing#Weight Collapse2026년 3월 11일댓글 수 로딩 중