[논문리뷰] Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior본 논문은 기존의 PPT 연구가 소규모 모델(≤1B 파라미터)과 제한된 학습 예산(≤2B 토큰) 하에서만 수행되었다는 한계에 주목합니다 . 저자들은 PPT의 성능 향상 효과가 더 큰 모델 스케일과 실제 환경의 다양한 데이터 혼합물(code, math 포함)에서도 지속되는지 확인하고자 합니다.#Review#Pre-pretraining#Large Language Models#Token Efficiency#Long-range Retrieval#Grammatical Prior#Model Scaling#Synthetic Data2026년 9월 30일댓글 수 로딩 중