[논문리뷰] Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models본 연구는 대규모 언어 모델(LLM)이 초장문 컨텍스트(ultra-long context) 를 효율적으로 처리하여 '기억하는 기계'를 구축하는 과제를 해결하고자 합니다.#Review#Large Language Models#Long Context#Sparse Attention#Hierarchical Sparse Attention (HSA)#Length Generalization#Mixture of Experts (MoE)#Transformer2025년 11월 30일댓글 수 로딩 중