[논문리뷰] TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models본 논문은 RL 기반 LLM 학습 시 발생하는 비용 문제를 해결하기 위해 도입된 FP4 rollout 기법이, 학습-추론 경로 간의 심각한 수치적 불일치로 인해 오히려 정책 불일치와 학습 불안정을 초래한다는 점을 지적합니다.#Review#Reinforcement Learning#MoE#FP4 Quantization#Quantization-Aware Training#Numerical Discrepancy#Rollout-Guided2026년 10월 6일댓글 수 로딩 중
[논문리뷰] FP4 Explore, BF16 Train: Diffusion Reinforcement Learning via Efficient Rollout Scaling본 논문은 탐색(exploration)과 최적화(optimization)를 분리한 Sol-RL이라는 2단계(two-stage) 프레임워크를 제안합니다 . 1단계에서는 고도로 최적화된 NVFP4 추론을 통해 방대한 후보군을 빠르게 생성하여 상대적 보상 순위를 매기고, 상위 및 하위의 contrastive subset을 선별합니다.#Review#Diffusion Models#Reinforcement Learning#FP4 Quantization#Rollout Scaling#Alignment#Efficiency#Two-stage Framework2026년 4월 8일댓글 수 로딩 중