[논문리뷰] Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference본 논문은 LLM pre-training에 막대한 computational resource가 소요되며, time-to-accuracy 개선이 수백만 달러의 비용 절감과 탄소 배출량 감소로 이어질 수 있다는 문제의식에서 출발합니다.#Review#Layer Dropout#Stochastic Depth#LLM Training#Inference Optimization#Structured Sparsity#Hyperparameter Tuning#Early Exit#Self-Speculative Decoding2026년 9월 6일댓글 수 로딩 중
[논문리뷰] EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts본 논문은 LLM의 RL 학습 과정에서 발생하는 Rollout 생성의 고질적인 Latency 문제를 해결하기 위해 고안되었습니다.#Review#Reinforcement Learning#Speculative Decoding#Self-Speculative Decoding#LLM Rollout#System-Aware#Quantization2026년 6월 17일댓글 수 로딩 중