[논문리뷰] Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width본 논문은 Residual width와 Compute width의 결합을 풀되, 최소한의 아키텍처 변경과 standard operator만으로 넓은 residual state의 이점을 얻는 것을 목표로 합니다.#Review#Residual Connection#Transformer Architecture#Residual Width Expansion#PreNorm/PostNorm#Scaling Laws#Hyper-Connections#Mixture-of-Experts2026년 11월 8일댓글 수 로딩 중
[논문리뷰] Truncate or Not? A Scaling Study of Looped Transformers with Truncated BackpropagationLooped transformers는 뛰어난 성능과 파라미터 효율성을 동시에 제공하여 주목받고 있지만, 학습 시 Truncated Backpropagation Through Time (TBT) 사용 여부에 대한 최적의 전략이 명확하지 않다.#Review#Looped Transformers#Truncated Backpropagation (TBT)#Scaling Laws#Effective Parameters#Compute Allocation#Full BPTT#Parameter Efficiency2026년 10월 27일댓글 수 로딩 중
[논문리뷰] Nested Sparsity for Scalable Pretraining and Continual Learning본 연구는 대규모 언어 모델(LLM)의 효율적인 pretraining과 도메인 확장(continual learning)을 위해 기존 MoE 모델이 가진 Attention 연산의 고정된 연산 비용 문제를 해결하는 것을 목적으로 합니다.#Review#Nested Sparsity#MoE#Transformer Architecture#Conditional Computation#Continual Learning#Scaling Laws2026년 10월 26일댓글 수 로딩 중
[논문리뷰] Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds본 논문은 가상 세계(Virtual Worlds)에서 Embodied Agents의 Continued Pre-Training (CPT)이 실제 물리 환경(Physical Environments)에서와 유사하게 Data Scaling, Diversity Scaling, Model Scaling을 통해 Generalization 능력을 향상시킬 수 있는지에 대한 의문을 제기한다.#Review#Embodied Agents#Continued Pre-Training (CPT)#Scaling Laws#Virtual Worlds#Generalization#Data Diversity#Model Capacity#Gameplay Benchmarks2026년 10월 21일댓글 수 로딩 중
[논문리뷰] Multi-Stream Attention ResidualsTransformer 기반 LLM에서 depth를 확장하는 것은 성능 향상을 위한 주요 요소였지만, 최신 PreNorm 아키텍처에서는 layer를 추가해도 기대만큼의 이득을 얻지 못하는 경우가 발생합니다.#Review#Multi-Stream Attention Residuals#Depth Attention#Large Language Models#Residual Connections#Pre-training#Scaling Laws#MoE2026년 10월 12일댓글 수 로딩 중
[논문리뷰] TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning본 연구는 대규모 human egocentric 영상 데이터가 Embodied AI 발전에 기여하고 있음에도 불구하고, 물리적 상호작용의 핵심인 '접촉'과 '압력' 정보가 누락되어 있다는 점을 해결하고자 합니다 .#Review#Visual-Tactile Learning#Egocentric Dataset#Robotic Manipulation#Tactile Prediction#Representation Learning#Scaling Laws2026년 10월 11일댓글 수 로딩 중
[논문리뷰] Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts본 논문은 Looped Mixture-of-Experts(MoE) 모델이 왜 기존 연구들에서 2개 루프 이상으로 확장하기 어려운지 그 근본 원인을 진단하고 해결책을 제시합니다. 기존의 Looped MoE 접근 방식은 추가적인 연산량 대비 성능 향상이 미미하거나 오히려 성능이 하락하는 문제를 겪어왔습니다.#Review#Looped Transformers#Mixture-of-Experts#Recurrent Depth#Computational Efficiency#Scaling Laws#Expert Selection Collapse#Curse of Depth2026년 10월 4일댓글 수 로딩 중
[논문리뷰] Scaling Laws for Looped Mixture of Experts본 논문은 Recurrence(Looped)와 Sparsity(MoE)를 결합한 모델의 공동 스케일링 특성을 규명하여 더욱 효율적인 모델 설계 가이드를 제공하고자 합니다.#Review#Looped Transformers#Mixture-of-Experts#Scaling Laws#Recurrence#Sparsity#Parameter Efficiency#Compute-Optimal2026년 9월 30일댓글 수 로딩 중
[논문리뷰] How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining본 논문은 Visual Encoder 유무에 따른 MLLM의 스케일링 거동 차이를 체계적으로 규명하고, Encoder-Free 아키텍처가 거대 모델 스케일에서 실질적인 대안이 될 수 있는지 분석합니다 .#Review#Encoder-Free MLLM#Scaling Laws#Multimodal Pretraining#Compute-Optimal Allocation#Vision-Specific Adaptation#IsoFLOP Profiles2026년 9월 28일댓글 수 로딩 중
[논문리뷰] SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers본 연구는 Looped Transformer의 성능 향상이 아키텍처 자체의 우수성인지, 아니면 반복 실행으로 인해 증가한 FLOPs와 같은 추가 자원 때문인지 규명하고자 한다.#Review#Looped Transformers#Mixture-of-Experts#Scaling Laws#Compute-Matched#Effective Depth#Inductive Bias#Attention Sink2026년 9월 1일댓글 수 로딩 중
[논문리뷰] LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training대규모 오픈 비디오-언어 리소스는 텍스트 및 이미지 코퍼스에 비해 상대적으로 작다는 핵심적인 문제가 존재합니다. 기존의 가장 큰 비디오 데이터셋인 InternVid는 7백만 개의 비디오를 포함하지만, 이는 현대 텍스트 및 이미지 코퍼스와 비교하면 규모가 미미합니다.#Review#Multimodal Pre-training#Video Dataset#Audio Dataset#Image-Text Pairs#Scaling Laws#ViCLIP#CLAP#CLIP2026년 8월 25일댓글 수 로딩 중
[논문리뷰] Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts본 논문은 대규모 MoE 모델 훈련 시 필수적인 하이퍼파라미터, 특히 Learning Rate 최적화의 높은 비용과 복잡성 문제를 해결합니다. 기존의 2D 하이퍼파라미터 스윕(모델 규모 및 토큰 수 탐색)은 모델이 커질수록 계산 비용이 기하급수적으로 증가하여 실행 불가능한 수준입니다 .#Review#Mixture-of-Experts#Hyperparameter Transfer#Maximal Update Parameterization#Scaling Laws#Foundation Model2026년 8월 23일댓글 수 로딩 중
[논문리뷰] Abra: Scaling Diffusion Image Training본 연구는 대규모 언어 모델(LLM)에 정립된 compute-optimal scaling laws가 비주얼 생성 모델인 확산 모델 분야에서는 아직 체계적으로 탐구되지 않았다는 점에 주목합니다.#Review#Scaling Laws#Diffusion Transformers#Compute-Optimality#Flow-Matching#ABRA#Generative Metrics#Scaling Collapse2026년 8월 18일댓글 수 로딩 중
[논문리뷰] Scaling Domain Data Repetition in LLM Pretraining본 연구는 모델 규모가 커질수록 컴퓨팅 최적화 학습을 위해 더 많은 토큰이 필요하지만, 고품질 도메인 데이터 확보가 어렵다는 불균형 문제를 해결하고자 합니다.#Review#LLM Pretraining#Data Repetition#Tokens-per-parameter Ratio#Scaling Laws#Domain Adaptation#Overfitting2026년 8월 16일댓글 수 로딩 중
[논문리뷰] Scaling Inherently Interpretable Language Models본 논문은 현대의 고성능 AI 시스템이 가진 극도의 불투명성(opacity)을 해결하기 위해, 해석 가능성을 훈련 과정의 핵심 제약 조건으로 통합하는 새로운 패러다임을 제안합니다.#Review#Inherent Interpretability#Diffusion Language Models#Concept Bottleneck#Atlas#Scaling Laws2026년 8월 10일댓글 수 로딩 중
[논문리뷰] LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models본 논문은 대규모 MoE 기반 dLLM의 최적 Scaling 행동과 아키텍처 설계 원칙이 기존 AR 모델과는 다르다는 점을 지적하며, 이를 체계적으로 정립하고자 합니다.#Review#Diffusion Language Models#Mixture-of-Experts#Scaling Laws#Compute-Optimal#LLaDA#Sparse Activation2026년 8월 4일댓글 수 로딩 중
[논문리뷰] Scaling Properties of Text Conditioning in Visual Generation본 논문은 텍스트 기반 이미지 생성(Text-to-Image Generation)에서 자연어의 토큰 수와 실제 모델이 학습하는 정보량 사이에 존재하는 비대칭성 문제를 해결하고자 합니다.#Review#Visual Generation#Text Conditioning#Scaling Laws#Structured Prompts#GPG#Effective Detailness#Promptability#Diffusability2026년 8월 2일댓글 수 로딩 중
[논문리뷰] Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models본 논문은 LLM에 대한 대규모 사실적 지식 주입의 신뢰성 및 확장성 문제를 해결하기 위해 Hypernetwork 기반 접근 방식을 제안합니다. 기존의 full fine-tuning이나 PEFT는 지식 주입 시 catastrophic forgetting과 OOD 일반화 부족이라는 한계를 지니고 있습니다.#Review#Hypernetworks#Knowledge Injection#Scaling Laws#Large Language Models#MegaWikiQA#Out-of-Distribution#LoRA2026년 7월 22일댓글 수 로딩 중
[논문리뷰] RynnBrain 1.1: Towards More Capable and Generalizable Embodied Foundation Model본 논문은 범용적인 멀티모달 모델이 실제 물리적 환경에서 로봇 제어로 전이될 때 발생하는 Embodied Foundation Model의 한계점을 해결하고자 합니다.#Review#Embodied AI#Foundation Model#Vision-Language-Action (VLA)#Multi-embodiment#3D Grounding#Contact-point Prediction#Scaling Laws2026년 7월 20일댓글 수 로딩 중
[논문리뷰] Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories본 논문은 대규모 데이터 학습을 통해 범용 로봇 정책을 구축하고자 하는 Scaling Laws의 가능성을 실현하는 데 초점을 맞춥니다.#Review#Vision-Language-Action Models#Scaling Laws#Real-World Trajectories#Robot Foundation Models#Flow Matching#Auto-labeling#Cross-embodiment Learning2026년 7월 19일댓글 수 로딩 중
[논문리뷰] Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms본 논문은 딥 강화학습 분야에서 고착화된 평가 패러다임과 그에 내재된 잘못된 가정들을 비판적으로 분석합니다.#Review#Deep Reinforcement Learning#Scaling Laws#Sample Complexity#Evaluation Paradigm#Monotonicity Assumption#Arcade Learning Environment2026년 7월 14일댓글 수 로딩 중
[논문리뷰] EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments본 논문은 대규모 언어 모델(LLM) 기반 에이전트가 배포 후 실제 환경에서 어떻게 학습하고 진화하는지에 대한 과학적 이해가 부족하다는 점을 해결하고자 한다. 기존의 벤치마크는 짧은 시간 내의 일회성 결과 측정에 집중하여, 에이전트가 상호작용을 통해 점진적으로 개선되는 학습 동역학을 분석하기에 부적합하다 .#Review#EdgeBench#Scaling Laws#Log-Sigmoid#Agent Learning#Real-World Environments#Frontier Expansion2026년 7월 6일댓글 수 로딩 중
[논문리뷰] DataComp-VLM: Improved Open Datasets for Vision-Language Models본 논문은 현대의 Autoregressive VLM 학습에서 데이터 큐레이션 전략이 모델 성능을 결정짓는 핵심 요소임에도 불구하고, 이에 대한 표준화된 벤치마크가 부족하다는 점을 해결하고자 합니다.#Review#Vision-Language Models#Data Curation#Benchmark#Instruction-Tuning#Data Mixing#Scaling Laws#Pretraining2026년 7월 5일댓글 수 로딩 중
[논문리뷰] OpenThoughts-Agent: Data Recipes for Agentic Models본 논문은 에이전트용 모델을 학습시키기 위한 데이터 큐레이션(Data Curation) 방법론이 공개적으로 거의 알려져 있지 않은 문제를 해결하고자 한다.#Review#Agentic Models#Data Curation#Supervised Fine-Tuning#Reinforcement Learning#Scaling Laws#Agentic Benchmarks2026년 6월 23일댓글 수 로딩 중
[논문리뷰] HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied PretrainingEmbodied foundation model 학습의 핵심 병목 현상은 정밀하게 주석 처리된 고품질 로봇 데이터의 부족과 데이터 수집의 높은 비용입니다.#Review#Embodied AI#Egocentric Video#Pretraining#Robot Learning#Scaling Laws#Generalization#World-Action Models2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Variable-Width Transformers본 논문은 대부분의 Transformer 모델이 모든 층에 걸쳐 일정한 Width를 유지하는 Uniform-Width 설계를 고수함으로써 발생하는 자원 비효율성 문제를 해결하고자 한다. 저자들은 층별로 수행하는 계산적 역할이 다름에도 불구하고 고정된 매개변수와 연산 예산을 균등하게 할당하는 것은 최적이 아니라고 주장한다.#Review#Transformer#Nonuniform Capacity Allocation#Variable-Width Architecture#Scaling Laws#KV Cache#Computational Efficiency#Representation Collapse2026년 6월 16일댓글 수 로딩 중
[논문리뷰] Pressure-Testing Deception Probes in LLMs: Scaling, Robustness, and the Geometry of Deceptive Representations본 연구는 LLM의 deception detection을 위해 사용되는 Linear Probes가 실전 환경에서 보이는 극심한 성능 저하의 원인을 규명하고자 합니다.#Review#LLM#Deception Detection#Linear Probes#Scaling Laws#Robustness#Geometric Analysis#Activation Engineering2026년 6월 2일댓글 수 로딩 중
[논문리뷰] On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters본 논문은 범용적인 기초 모델을 넘어 수백만 명의 개인별 요구사항을 지속적으로 반영할 수 있는 '개인화된 모델(Personal Models)'의 확장성 문제를 해결하고자 합니다.#Review#PEFT#LoRA#Personal Models#Reinforcement Learning#MoE#Infrastructure#Scaling Laws2026년 6월 1일댓글 수 로딩 중
[논문리뷰] Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention본 논문은 더 큰 모델(Larger Models)이 더 작은 모델이 학습하지 못하는 작업들을 어떻게 학습하는지에 대한 근본적인 메커니즘을 규명하고자 합니다.#Review#Scaling Laws#Rare-Task Retention#Gradient Interference#Neural Network Scaling#Multi-Task Learning#Feature Learning2026년 5월 28일댓글 수 로딩 중
[논문리뷰] LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws본 논문은 LLM의 Scaling Laws를 경험적 관측이 아닌, Shannon의 정보 이론적 프레임워크를 통해 이론적으로 규명하고자 합니다.#Review#Information Theory#Scaling Laws#Noisy Channel#Model Capacity#LLM#Mutual Information2026년 5월 24일댓글 수 로딩 중
[논문리뷰] Toto 2.0: Time Series Forecasting Enters the Scaling Era본 논문은 TSFM(Time Series Foundation Models)이 NLP나 Vision 모델과 달리 모델 크기가 커져도 예측 성능이 정체되거나 저하되는 Scaling의 불확실성 문제를 해결하고자 합니다.#Review#Time Series Foundation Models#Scaling Laws#Contiguous Patch Masking#u-μP#Quantile Output Head#NorMuon#Observability Metrics2026년 5월 20일댓글 수 로딩 중
[논문리뷰] UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems본 논문은 기존 Recommendation 시스템의 Scaling 아키텍처들이 서로 파편화되어 최적의 효율성을 달성하지 못하는 문제를 해결합니다.#Review#Recommendation Systems#Scaling Laws#UniMixer#Feature Interaction#TokenMixer#Unified Architecture2026년 4월 1일댓글 수 로딩 중
[논문리뷰] daVinci-LLM:Towards the Science of Pretraining현재 LLM 생태계는 상업적 모델의 폐쇄성과 학계 모델의 컴퓨팅 자원 부족이라는 구조적 역설(Structural Paradox)에 직면해 있습니다.#Review#Pretraining#Data Darwinism#LLM#Transparency#Data Processing#Scaling Laws#Reasoning2026년 3월 31일댓글 수 로딩 중
[논문리뷰] Efficient Exploration at Scale오늘날 대규모 언어 모델(LLM)은 방대한 데이터를 학습하며 발전했지만, LLM의 능력을 인간의 선호도에 맞춰 정렬하는 데 필요한 고품질의 informative한 데이터를 효율적으로 수집하는 것은 여전히 중요한 과제입니다.#Review#RLHF#Data Efficiency#Active Exploration#Epistemic Neural Network#Information-Directed Sampling#Scaling Laws#Large Language Models#Online Learning2026년 3월 18일댓글 수 로딩 중
[논문리뷰] Beyond Language Modeling: An Exploration of Multimodal Pretraining본 논문은 기존 언어 모델링의 한계를 넘어, 비전 신호를 퍼스트 클래스 시민 으로 통합한 통합 멀티모달 사전 훈련(unified multimodal pretraining) 의 설계 공간을 탐색하고 경험적 명확성을 제공하는 것을 목표로 합니다.#Review#Multimodal Pretraining#Vision-Language Models#Mixture-of-Experts (MoE)#Representation Autoencoders (RAE)#World Modeling#Scaling Laws#Diffusion Models#Unified Architectures2026년 3월 3일댓글 수 로딩 중
[논문리뷰] The Design Space of Tri-Modal Masked Diffusion Models본 논문은 텍스트, 이미지-텍스트, 오디오-텍스트 데이터에 대해 처음부터 사전 훈련된 최초의 삼중 모달(tri-modal) 마스크드 확산 모델(MDM) 을 소개합니다.#Review#Masked Diffusion Models#Multimodal AI#Scaling Laws#Discrete Diffusion#SDE Parameterization#Hyperparameter Transfer#Unified Generation2026년 2월 25일댓글 수 로딩 중
[논문리뷰] Prescriptive Scaling Reveals the Evolution of Language Model Capabilities언어 모델의 실제 배포 시점에 다양한 후처리(post-training) 절차와 시간적 영향으로 인해 발생하는 예측 불가능성을 해결하고자 합니다.#Review#Prescriptive Scaling#Language Models#Capability Boundaries#Quantile Regression#Scaling Laws#Temporal Stability#I-Optimal Design#Benchmark Saturation2026년 2월 17일댓글 수 로딩 중
[논문리뷰] X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests본 논문은 경쟁 프로그래밍(Competitive Programming)을 위한 코드 LLM(Large Language Model)이 실제 데이터의 희소성으로 인해 겪는 한계를 극복하는 것을 목표로 합니다.#Review#Competitive Programming#Code LLMs#Synthetic Data Generation#Supervised Fine-tuning (SFT)#Reinforcement Learning (RL)#Dual Verification#Scaling Laws#SynthSmith2026년 1월 12일댓글 수 로딩 중
[논문리뷰] Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space본 논문은 기존 대규모 언어 모델(LLM)이 언어의 비균일한 정보 밀도에도 불구하고 토큰에 균일한 연산을 적용하여 발생하는 비효율성 문제를 해결하고자 합니다.#Review#Hierarchical Language Model#Concept-Level Reasoning#Dynamic Segmentation#Adaptive Computation#Scaling Laws#Maximal Update Parametrization#Next-Token Prediction#Flash Attention2026년 1월 1일댓글 수 로딩 중
[논문리뷰] An Information Theoretic Perspective on Agentic System Design논문은 에이전트형 언어 모델(LM) 시스템, 특히 컴프레서-프레딕터(compressor-predictor) 아키텍처 의 설계에 대한 체계적인 이해 부족을 해결하고자 합니다.#Review#Agentic Systems#Language Models#Mutual Information#Rate-Distortion Theory#Compute Efficiency#Scaling Laws#Compressor-Predictor Architecture#On-device AI2025년 12월 29일댓글 수 로딩 중
[논문리뷰] Towards Scalable Pre-training of Visual Tokenizers for Generation본 논문은 시각 토크나이저(예: VAE)의 잠재 공간이 저수준 정보에 편향되어 고품질 생성으로 이어지지 않는 '사전 학습 스케일링 문제'를 해결하는 것을 목표로 합니다.#Review#Visual Tokenizers#Pre-training#Latent Diffusion Models#Generative Models#Vision Transformer#Contrastive Learning#Self-Supervised Learning#Scaling Laws2025년 12월 15일댓글 수 로딩 중
[논문리뷰] Scaling Behavior of Discrete Diffusion Language Models본 논문은 Discrete Diffusion Language Models (DLMs) 의 스케일링 행동을 체계적으로 연구하여, 기존 Autoregressive Language Models (ALMs) 와의 경쟁력을 평가하고 DLMs의 핵심 한계점(예: 병렬 생성 및 수정 능력 부족)을 해결하는 것을 목표로 합니다.#Review#Discrete Diffusion Models#Scaling Laws#Language Models#Masked Diffusion#Uniform Diffusion#Hyperparameter Tuning#Compute-Optimal Training2025년 12월 14일댓글 수 로딩 중
[논문리뷰] From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence이 논문은 코드 LLM(Large Language Models) 의 전체 모델 라이프사이클을 포괄하는 실용적인 가이드와 종합적인 분석을 제공하는 것을 목표로 합니다.#Review#Code LLMs#Software Engineering Agents#Code Generation#Reinforcement Learning#Supervised Fine-tuning#Multimodal AI#Code Safety#Scaling Laws2025년 12월 1일댓글 수 로딩 중
[논문리뷰] Virtual Width Networks본 논문은 Transformer 모델의 히든 차원을 늘릴 때 발생하는 Quadratic한 계산 비용 문제를 해결하면서도, 더 넓은 표현(wider representations)이 제공하는 이점을 얻는 것을 목표로 합니다.#Review#Virtual Width Networks#Transformer#Mixture-of-Experts (MoE)#Scaling Laws#Representation Learning#Model Efficiency#Multi-Token Prediction#Hyper-Connections2025년 11월 16일댓글 수 로딩 중
[논문리뷰] Diffusion Language Models are Super Data Learners본 논문은 고품질 데이터 희소성이 LLM 훈련의 주요 병목이 되는 시대에, Autoregressive (AR) 모델 과 Diffusion Language Models (DLMs) 중 어떤 패러다임이 제한된 고유 데이터로부터 더 많은 신호를 추출하는지 규명하는 것을 목표로 합니다.#Review#Diffusion Language Models#Autoregressive Models#Data Efficiency#Scaling Laws#Data-Constrained Learning#Crossover Phenomenon#Pre-training#Masked Diffusion2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Every Activation Boosted: Scaling General Reasoner to 1 Trillion Open Language Foundation본 논문은 '모든 활성화가 추론 능력을 향상시킨다'는 원칙 아래, 1조 개의 파라미터를 가진 추론 중심의 개방형 언어 파운데이션 모델(Ling 2.0) 을 개발하는 것을 목표로 합니다.#Review#Large Language Models#Mixture-of-Experts#Reasoning Capability#Sparse Activation#Scaling Laws#FP8 Training#Efficient Training#Instruction Tuning2025년 11월 9일댓글 수 로딩 중
[논문리뷰] ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality이 연구는 영어에 주로 집중되어 있던 기존 스케일링 법칙 연구의 한계를 넘어, 다국어 사전 학습, 미세 조정 및 추론 전반에 걸쳐 스케일링 법칙을 포괄적으로 이해하고 모델링하는 것을 목표로 합니다.#Review#Multilingual LLMs#Scaling Laws#Transfer Learning#Curse of Multilinguality#Pretraining#Finetuning#Language Models#Adaptive Scaling2025년 10월 29일댓글 수 로딩 중
[논문리뷰] Robust Layerwise Scaling Rules by Proper Weight Decay Tuning본 논문은 Maximal-update Parameterization (µP)이 현대 스케일 불변 아키텍처에서 훈련의 정상 상태(steady state)에 도달했을 때 발생하는 학습률 전이(transfer) 저하 문제를 해결하고자 합니다.#Review#Weight Decay Scaling#Maximal-Update Parameterization (µP)#AdamW#Transformer#Hyperparameter Transfer#Scaling Laws#Singular Value Spectrum#Steady State Training2025년 10월 20일댓글 수 로딩 중
[논문리뷰] The Art of Scaling Reinforcement Learning Compute for LLMs본 연구는 LLM 훈련에 필수적인 RL(강화 학습)의 확장(Scaling) 특성에 대한 예측 방법론이 부족하다는 문제를 해결하고자 합니다.#Review#Reinforcement Learning#LLMs#Scaling Laws#Compute Efficiency#Predictability#Sigmoidal Curves#ScaleRL#Off-Policy RL2025년 10월 16일댓글 수 로딩 중
[논문리뷰] Scaling Language-Centric Omnimodal Representation Learning본 논문은 MLLM(Multimodal Large Language Model) 기반 임베딩 모델의 우수한 성능이 전통적인 CLIP-스타일 모델 에 비해 가지는 근본적인 이유를 탐구합니다.#Review#Multimodal Embeddings#MLLMs#Contrastive Learning#Cross-modal Alignment#Generative Pretraining#Representation Learning#Scaling Laws2025년 10월 15일댓글 수 로딩 중
[논문리뷰] NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints본 논문은 기존 Compositional MLLMs의 분리된 훈련으로 인한 불분명한 멀티모달 스케일링 속성 문제를 해결하고자 합니다.#Review#Multimodal Large Language Models#Native MLLMs#Scaling Laws#Data Constraints#Visual Encoder#LLM Initialization#Mixture-of-Experts#End-to-end Training2025년 10월 10일댓글 수 로딩 중
[논문리뷰] Beyond Outliers: A Study of Optimizers Under Quantization대규모 언어 모델(LLMs)의 효율적인 배포를 위해 Quantization 이 필수가 됨에 따라, 옵티마이저 선택 이 양자화 성능에 미치는 영향을 체계적으로 분석하는 것을 목표로 합니다.#Review#Quantization#Optimizers#LLM#Post-Training Quantization (PTQ)#Quantization-Aware Training (QAT)#Error Propagation#Scaling Laws#Shampoo2025년 10월 10일댓글 수 로딩 중
[논문리뷰] Hybrid Architectures for Language Models: Systematic Analysis and Design Insights기존 대규모 언어 모델(LLM)에서 Transformer 의 quadratic 복잡성과 Mamba 의 장문 컨텍스트 처리 한계를 극복하고자 합니다.#Review#Hybrid LLM#Transformer Architecture#Mamba#State Space Models (SSM)#Computational Efficiency#Long-Context#Language Model Architectures#Scaling Laws2025년 10월 7일댓글 수 로딩 중
[논문리뷰] BroRL: Scaling Reinforcement Learning via Broadened Exploration이 논문은 대규모 언어 모델(LLM)의 복잡한 추론 능력을 향상시키기 위한 Verifiable Rewards (RLVR) 기반 강화 학습(RL)의 스케일링 한계를 극복하는 것을 목표로 합니다.#Review#Reinforcement Learning#LLMs#Scaling Laws#Exploration#Rollout Size#Verifiable Rewards#PPO#Mass Balance Equation2025년 10월 2일댓글 수 로딩 중
[논문리뷰] Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models본 논문은 대규모 파운데이션 모델에서 Test-Time Training (TTT) 의 효과를 심층적으로 이해하고, 특히 모델이 이미 학습한 in-distribution 데이터 에 대해서도 TTT가 성능 향상을 가져올 수 있는지 규명하는 것을 목표로 합니다.#Review#Test-Time Training (TTT)#Foundation Models#Underparameterization#Sparse Autoencoders (SAE)#Linear Representation Hypothesis (LRH)#Specialization#Scaling Laws#In-Distribution Data2025년 10월 1일댓글 수 로딩 중
[논문리뷰] StyleBench: Evaluating thinking styles in Large Language Models본 연구는 LLM이 사용하는 추론 전략, 즉 '사고 방식'이 모델 아키텍처 및 태스크 유형과 어떻게 상호작용하는지에 대한 이해 부족을 해결하는 것을 목표로 합니다.#Review#Large Language Models#Reasoning Strategies#Prompt Engineering#LLM Evaluation#Benchmark#Thinking Styles#Scaling Laws#Meta-Reasoning2025년 9월 26일댓글 수 로딩 중
[논문리뷰] Reinforcement Learning on Pre-Training Data논문은 대규모 언어 모델(LLM)의 훈련 시 발생하는 컴퓨팅 자원의 기하급수적 증가와 고품질 텍스트 데이터의 유한한 성장 사이의 불균형 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Pre-training#Large Language Models#Self-supervised Learning#Scaling Laws#Next-segment Reasoning#Reward Modeling2025년 9월 24일댓글 수 로딩 중
[논문리뷰] Scaling Agents via Continual Pre-training본 논문은 기존의 에이전트 LLM 훈련 방법론(SFT, RL)이 복잡한 에이전트 태스크에서, 특히 오픈소스 구현체에서 저조한 성능을 보이는 문제를 해결하고자 합니다. 이는 견고한 에이전트 파운데이션 모델의 부재로 인해 훈련 후 다양한 에이전트 행동 학습과 정렬이 동시에 이루어지면서 발생하는 최적화 충돌 때문입니다.#Review#Agentic LLMs#Continual Pre-training#Deep Research Agents#Tool Use#Multi-step Reasoning#Data Synthesis#Scaling Laws2025년 9월 17일댓글 수 로딩 중
[논문리뷰] The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs본 논문은 대규모 언어 모델(LLM)의 지속적인 스케일링이 한계 효용 체감(diminishing returns)으로 이어지는지에 대한 논쟁을 다루며, 특히 장기적인 태스크(long-horizon tasks) 수행 능력에 초점을 맞춥니다.#Review#Large Language Models#Long-Horizon Tasks#Execution Capability#Scaling Laws#Self-Conditioning#Thinking Models#Agentic AI2025년 9월 15일댓글 수 로딩 중
[논문리뷰] Does DINOv3 Set a New Medical Vision Standard?본 연구는 자연 이미지로만 사전 훈련된 최신 Self-Supervised Vision Transformer인 DINOv3 가 도메인 특화된 사전 훈련 없이 의료 영상 태스크에서 강력하고 통합된 인코더로 활용될 수 있는지 종합적으로 평가하는 것을 목표로 합니다.#Review#Medical Imaging#Foundation Models#DINOv3#Self-Supervised Learning#Vision Transformer#2D/3D Classification#Segmentation#Domain Adaptation#Scaling Laws2025년 9월 9일댓글 수 로딩 중
[논문리뷰] Fantastic Pretraining Optimizers and Where to Find Them본 논문은 언어 모델 사전 훈련에서 AdamW 가 지배적인 옵티마이저임에도 불구하고, 새로운 옵티마이저들이 주장하는 1.4배에서 2배 의 학습 속도 향상이 실제로는 널리 채택되지 않는 이유를 규명하고자 합니다.#Review#Deep Learning Optimizers#Large Language Models#Hyperparameter Tuning#Pretraining Speedup#Scaling Laws#AdamW#Matrix-based Optimizers#Data-to-Model Ratio2025년 9월 3일댓글 수 로딩 중
[논문리뷰] Provable Benefits of In-Tool Learning for Large Language Models본 논문은 대규모 언어 모델(LLM)에서 도구 사용 학습(in-tool learning) 방식이 내부 가중치 학습(in-weight learning) 방식보다 사실 정보 기억 및 회상에 있어 이론적, 실증적으로 우월함을 증명하는 것을 목표로 합니다.#Review#Large Language Models#In-Tool Learning#In-Weight Learning#Factual Recall#Retrieval-Augmented Generation#Scaling Laws#Parameter Efficiency#Catastrophic Forgetting2025년 8월 29일댓글 수 로딩 중
[논문리뷰] Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks본 논문은 MoE(Mixture-of-Experts) 언어 모델에서 스파시티(sparsity)가 기억(memorization) 능력과 추론(reasoning) 능력에 미치는 영향을 규명하고, 고정된 연산 예산(compute budget) 내에서 태스크별 최적의 스파시티 구성을 찾는 것을 목표로 합니다.#Review#Mixture-of-Experts (MoE)#Sparsity#Scaling Laws#Reasoning Tasks#Memorization#Large Language Models#Generalization Gap#Top-k Routing2025년 8월 27일댓글 수 로딩 중