[논문리뷰] Smaller Models, Better Rejects: Preference Distillation Scaling본 논문은 Preference Distillation에서 거부 응답을 학생 모델 자신(Self)으로부터 생성하는 관행이 비효율적이라는 점을 지적합니다. 기존 방식은 학생 모델의 크기가 커질수록 거부 응답 생성 비용이 기하급수적으로 증가하는 Compute 문제를 야기합니다.#Review#Preference Distillation#DPO#Reject Construction#Inverse Data Design#Large Language Models#Scaling Study2026년 10월 1일댓글 수 로딩 중
[논문리뷰] BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms본 논문은 RAG 패러다임들이 다양한 규모의 Corpus에서 어떻게 성능과 비용적으로 확장되는지에 대한 불확실성을 해결하고자 합니다. 기존 연구들은 대체로 고정된 크기의 Corpus에서 특정 패러다임만을 단독 평가하여, 실제 기업 환경과 같이 데이터가 지속적으로 증가하는 상황에서의 확장성을 파악하기 어려웠습니다 .#Review#Retrieval-Augmented Generation#Scaling Study#BM25#Agentic Retrieval#Graph-based RAG#EnterpriseRAG-Bench2026년 7월 30일댓글 수 로딩 중