#Pre-training

17개의 포스트

[논문리뷰] Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training

arXiv에 게시된 'Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training' 논문에 대한 자세한 리뷰입니다.

2026년 2월 17일

[논문리뷰] Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution

arXiv에 게시된 'Xiaomi-Robotics-0: An Open-Sourced Vision-Language-Action Model with Real-Time Execution' 논문에 대한 자세한 리뷰입니다.

2026년 2월 16일

[논문리뷰] OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration

arXiv에 게시된 'OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration' 논문에 대한 자세한 리뷰입니다.

2026년 2월 11일

[논문리뷰] STEP3-VL-10B Technical Report

arXiv에 게시된 'STEP3-VL-10B Technical Report' 논문에 대한 자세한 리뷰입니다.

2026년 1월 16일

[논문리뷰] Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models

Xinyi Dai이 arXiv에 게시한 'Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models' 논문에 대한 자세한 리뷰입니다.

2026년 1월 1일

[논문리뷰] TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior

arXiv에 게시된 'TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior' 논문에 대한 자세한 리뷰입니다.

2025년 12월 25일

[논문리뷰] Towards Scalable Pre-training of Visual Tokenizers for Generation

arXiv에 게시된 'Towards Scalable Pre-training of Visual Tokenizers for Generation' 논문에 대한 자세한 리뷰입니다.

2025년 12월 16일

[논문리뷰] Openpi Comet: Competition Solution For 2025 BEHAVIOR Challenge

Jinwei Gu이 arXiv에 게시한 'Openpi Comet: Competition Solution For 2025 BEHAVIOR Challenge' 논문에 대한 자세한 리뷰입니다.

2025년 12월 16일

[논문리뷰] On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models

arXiv에 게시된 'On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 12월 9일

[논문리뷰] Diffusion Language Models are Super Data Learners

arXiv에 게시된 'Diffusion Language Models are Super Data Learners' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection

Yi Cheng이 arXiv에 게시한 'Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection' 논문에 대한 자세한 리뷰입니다.

2025년 10월 23일

[논문리뷰] Train a Unified Multimodal Data Quality Classifier with Synthetic Data

Ritesh Sarkhel이 arXiv에 게시한 'Train a Unified Multimodal Data Quality Classifier with Synthetic Data' 논문에 대한 자세한 리뷰입니다.

2025년 10월 20일

[논문리뷰] Universal Image Restoration Pre-training via Masked Degradation Classification

arXiv에 게시된 'Universal Image Restoration Pre-training via Masked Degradation Classification' 논문에 대한 자세한 리뷰입니다.

2025년 10월 16일

[논문리뷰] Memory Retrieval and Consolidation in Large Language Models through Function Tokens

arXiv에 게시된 'Memory Retrieval and Consolidation in Large Language Models through Function Tokens' 논문에 대한 자세한 리뷰입니다.

2025년 10월 10일

[논문리뷰] Thinking Augmented Pre-training

Furu Wei이 arXiv에 게시한 'Thinking Augmented Pre-training' 논문에 대한 자세한 리뷰입니다.

2025년 9월 26일

[논문리뷰] Reinforcement Learning on Pre-Training Data

Evander Yang이 arXiv에 게시한 'Reinforcement Learning on Pre-Training Data' 논문에 대한 자세한 리뷰입니다.

2025년 9월 24일

[논문리뷰] villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models

Kaixin Wang이 arXiv에 게시한 'villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models' 논문에 대한 자세한 리뷰입니다.

2025년 8월 3일