[논문리뷰] Nested Sparsity for Scalable Pretraining and Continual Learning본 연구는 대규모 언어 모델(LLM)의 효율적인 pretraining과 도메인 확장(continual learning)을 위해 기존 MoE 모델이 가진 Attention 연산의 고정된 연산 비용 문제를 해결하는 것을 목적으로 합니다.#Review#Nested Sparsity#MoE#Transformer Architecture#Conditional Computation#Continual Learning#Scaling Laws2026년 10월 26일댓글 수 로딩 중