#Scaling Laws

29개의 포스트

[논문리뷰] Beyond Language Modeling: An Exploration of Multimodal Pretraining

arXiv에 게시된 'Beyond Language Modeling: An Exploration of Multimodal Pretraining' 논문에 대한 자세한 리뷰입니다.

2026년 3월 3일

[논문리뷰] The Design Space of Tri-Modal Masked Diffusion Models

arXiv에 게시된 'The Design Space of Tri-Modal Masked Diffusion Models' 논문에 대한 자세한 리뷰입니다.

2026년 2월 25일

[논문리뷰] Prescriptive Scaling Reveals the Evolution of Language Model Capabilities

Sham Kakade이 arXiv에 게시한 'Prescriptive Scaling Reveals the Evolution of Language Model Capabilities' 논문에 대한 자세한 리뷰입니다.

2026년 2월 17일

[논문리뷰] X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests

Jane Luo이 arXiv에 게시한 'X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests' 논문에 대한 자세한 리뷰입니다.

2026년 1월 12일

[논문리뷰] Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space

arXiv에 게시된 'Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space' 논문에 대한 자세한 리뷰입니다.

2026년 1월 1일

[논문리뷰] An Information Theoretic Perspective on Agentic System Design

arXiv에 게시된 'An Information Theoretic Perspective on Agentic System Design' 논문에 대한 자세한 리뷰입니다.

2025년 12월 29일

[논문리뷰] Towards Scalable Pre-training of Visual Tokenizers for Generation

arXiv에 게시된 'Towards Scalable Pre-training of Visual Tokenizers for Generation' 논문에 대한 자세한 리뷰입니다.

2025년 12월 15일

[논문리뷰] Scaling Behavior of Discrete Diffusion Language Models

arXiv에 게시된 'Scaling Behavior of Discrete Diffusion Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 12월 14일

[논문리뷰] From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence

arXiv에 게시된 'From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence' 논문에 대한 자세한 리뷰입니다.

2025년 12월 1일

[논문리뷰] Virtual Width Networks

arXiv에 게시된 'Virtual Width Networks' 논문에 대한 자세한 리뷰입니다.

2025년 11월 16일

[논문리뷰] Diffusion Language Models are Super Data Learners

arXiv에 게시된 'Diffusion Language Models are Super Data Learners' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] Every Activation Boosted: Scaling General Reasoner to 1 Trillion Open Language Foundation

arXiv에 게시된 'Every Activation Boosted: Scaling General Reasoner to 1 Trillion Open Language Foundation' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality

arXiv에 게시된 'ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality' 논문에 대한 자세한 리뷰입니다.

2025년 10월 29일

[논문리뷰] Robust Layerwise Scaling Rules by Proper Weight Decay Tuning

arXiv에 게시된 'Robust Layerwise Scaling Rules by Proper Weight Decay Tuning' 논문에 대한 자세한 리뷰입니다.

2025년 10월 20일

[논문리뷰] The Art of Scaling Reinforcement Learning Compute for LLMs

arXiv에 게시된 'The Art of Scaling Reinforcement Learning Compute for LLMs' 논문에 대한 자세한 리뷰입니다.

2025년 10월 16일

[논문리뷰] Scaling Language-Centric Omnimodal Representation Learning

arXiv에 게시된 'Scaling Language-Centric Omnimodal Representation Learning' 논문에 대한 자세한 리뷰입니다.

2025년 10월 15일

[논문리뷰] NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints

arXiv에 게시된 'NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints' 논문에 대한 자세한 리뷰입니다.

2025년 10월 10일

[논문리뷰] Beyond Outliers: A Study of Optimizers Under Quantization

arXiv에 게시된 'Beyond Outliers: A Study of Optimizers Under Quantization' 논문에 대한 자세한 리뷰입니다.

2025년 10월 10일

[논문리뷰] Hybrid Architectures for Language Models: Systematic Analysis and Design Insights

arXiv에 게시된 'Hybrid Architectures for Language Models: Systematic Analysis and Design Insights' 논문에 대한 자세한 리뷰입니다.

2025년 10월 7일

[논문리뷰] BroRL: Scaling Reinforcement Learning via Broadened Exploration

arXiv에 게시된 'BroRL: Scaling Reinforcement Learning via Broadened Exploration' 논문에 대한 자세한 리뷰입니다.

2025년 10월 2일

[논문리뷰] Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models

arXiv에 게시된 'Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models' 논문에 대한 자세한 리뷰입니다.

2025년 10월 1일

[논문리뷰] StyleBench: Evaluating thinking styles in Large Language Models

Javad Lavaei이 arXiv에 게시한 'StyleBench: Evaluating thinking styles in Large Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 9월 26일

[논문리뷰] Reinforcement Learning on Pre-Training Data

Evander Yang이 arXiv에 게시한 'Reinforcement Learning on Pre-Training Data' 논문에 대한 자세한 리뷰입니다.

2025년 9월 24일

[논문리뷰] Scaling Agents via Continual Pre-training

Guangyu Li이 arXiv에 게시한 'Scaling Agents via Continual Pre-training' 논문에 대한 자세한 리뷰입니다.

2025년 9월 17일

[논문리뷰] The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs

Jonas Geiping이 arXiv에 게시한 'The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs' 논문에 대한 자세한 리뷰입니다.

2025년 9월 15일

[논문리뷰] Does DINOv3 Set a New Medical Vision Standard?

Bailiang Jian이 arXiv에 게시한 'Does DINOv3 Set a New Medical Vision Standard?' 논문에 대한 자세한 리뷰입니다.

2025년 9월 9일

[논문리뷰] Fantastic Pretraining Optimizers and Where to Find Them

Percy Liang이 arXiv에 게시한 'Fantastic Pretraining Optimizers and Where to Find Them' 논문에 대한 자세한 리뷰입니다.

2025년 9월 3일

[논문리뷰] Provable Benefits of In-Tool Learning for Large Language Models

Vivien Cabannes이 arXiv에 게시한 'Provable Benefits of In-Tool Learning for Large Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 8월 29일

[논문리뷰] Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks

Daisuke Nohara이 arXiv에 게시한 'Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks' 논문에 대한 자세한 리뷰입니다.

2025년 8월 27일