[논문리뷰] CausalWAM: Learning the Causes of Actions in World Action Models본 논문은 WAM이 관측 데이터만으로 학습할 때, action에 기여하는 인과적 latent variables와 환경의 단순 배경을 나타내는 nuisance variables를 혼동하는 문제를 해결하고자 한다.#Review#Causal Representation Learning#World Action Models#Identifiability#Sparsity#Robotics#Latent Variables#Closed-loop Control2026년 11월 1일댓글 수 로딩 중
[논문리뷰] Scaling Laws for Looped Mixture of Experts본 논문은 Recurrence(Looped)와 Sparsity(MoE)를 결합한 모델의 공동 스케일링 특성을 규명하여 더욱 효율적인 모델 설계 가이드를 제공하고자 합니다.#Review#Looped Transformers#Mixture-of-Experts#Scaling Laws#Recurrence#Sparsity#Parameter Efficiency#Compute-Optimal2026년 9월 30일댓글 수 로딩 중
[논문리뷰] LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning본 논문은 LLM의 Long-context 추론 능력을 강화하기 위한 RL 과정에서 모델 내부의 Intrinsic Representation이 충분히 활용되지 못하는 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Large Language Models#Long-context#Sparsity#Activation Patterns#Saliency-guided2026년 4월 16일댓글 수 로딩 중
[SGLang] Sparsity Algorithms: QUEST와 DeepSeek NSA 희소 패턴SGLang의 Sparsity 알고리즘을 분석한다. QUEST 알고리즘과 DeepSeek NSA의 희소 어텐션 패턴, 코디네이터 구조, 백엔드 어댑터를 코드와 함께 살펴본다.#sglang#Sparsity#QUEST#NSA#Sparse Pattern2026년 4월 14일댓글 수 로딩 중
[논문리뷰] Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks본 논문은 MoE(Mixture-of-Experts) 언어 모델에서 스파시티(sparsity)가 기억(memorization) 능력과 추론(reasoning) 능력에 미치는 영향을 규명하고, 고정된 연산 예산(compute budget) 내에서 태스크별 최적의 스파시티 구성을 찾는 것을 목표로 합니다.#Review#Mixture-of-Experts (MoE)#Sparsity#Scaling Laws#Reasoning Tasks#Memorization#Large Language Models#Generalization Gap#Top-k Routing2025년 8월 27일댓글 수 로딩 중