[논문리뷰] Scaling Domain Data Repetition in LLM Pretraining본 연구는 모델 규모가 커질수록 컴퓨팅 최적화 학습을 위해 더 많은 토큰이 필요하지만, 고품질 도메인 데이터 확보가 어렵다는 불균형 문제를 해결하고자 합니다.#Review#LLM Pretraining#Data Repetition#Tokens-per-parameter Ratio#Scaling Laws#Domain Adaptation#Overfitting2026년 8월 16일댓글 수 로딩 중
[논문리뷰] OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers본 논문은 현대의 방대한 LLM 최적화 방법론들이 파편화되어 있어 체계적인 비교와 선택이 어렵다는 문제를 해결하고자 합니다. 기존 연구들은 각기 다른 가정과 notation을 사용하여 성능 비교가 프로토콜에 따라 크게 달라지며, 특정 메커니즘이 업데이트 파이프라인의 어느 지점에 개입하는지 명확하지 않습니다.#Review#LLM Pretraining#Optimizer#Taxonomy#Meta-Pipeline#Benchmarking#Linear Minimization Oracle#LMO2026년 7월 6일댓글 수 로딩 중
[논문리뷰] Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe본 논문은 LLM pretraining에서 FP4 사용 시 관찰되는 훈련 불안정성의 근본 원인으로 E2M1 포맷의 기하학적 결함을 지목합니다. 기존 연구들은 이상치 처리를 위해 RHT를 사용하지만, 이는 텐서의 분포를 비대칭적인 E2M1 빈으로 집중시켜 오히려 양자화 품질을 저하시키는 결과를 초래합니다 .#Review#FP4#Shrinkage Bias#E2M1#E1M2#Random Hadamard Transform#LLM Pretraining#Quantization2026년 6월 18일댓글 수 로딩 중