[논문리뷰] Reasoning Core: A Scalable Procedural Data Generation Suite for Symbolic Pre-training and Post-Training이 논문은 대규모 언어 모델(LLM)의 추론 능력 확장을 위해 기존 생성 방식의 분포적 다양성 부족 문제를 해결하고자 합니다.#Review#Procedural Data Generation#Symbolic Reasoning#Language Model Pre-training#Reinforcement Learning with Verifiable Rewards#Formal Logic#PDDL Planning#Context-Free Grammars2026년 3월 2일댓글 수 로딩 중
[논문리뷰] TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training언어 모델 사전 훈련 과정에서 고정된 데이터 혼합 전략은 모델의 학습 선호도가 동적으로 변화함에 따라 최적의 성능을 달성하지 못합니다. 본 논문은 이러한 진화하는 데이터 선호도를 효율적으로 관찰 하고, 이를 기반으로 데이터 혼합 비율을 동적으로 조정 하여 모델 성능을 극대화하는 것을 목표로 합니다.#Review#Language Model Pre-training#Dynamic Data Mixing#Data Influence#Group Influence#Optimization#Regression Model#LLM Training2025년 9월 1일댓글 수 로딩 중