[논문리뷰] Think Twice: The Metis-1.6 Technical Report본 논문은 대규모 매개변수 중심의 모델 확장 방식이 가지는 비용과 비효율성을 극복하고, 더 적은 자원으로 뛰어난 성능을 달성하는 새로운 모델 설계 프레임워크를 제안합니다. 기존의 거대 모델들은 성능 개선을 위해 매개변수 수를 늘리는 데 집중하지만, 이는 학습 및 서빙 비용을 급격히 증가시키는 한계가 있습니다.#Review#Looped Architecture#Mixture-of-Experts#Mamba-2#Parameter Efficiency#Context Extension#Reinforcement Learning2026년 11월 1일댓글 수 로딩 중
[flashinfer] Blackwell 시대를 위한 Mamba-2 SSD 최적화: FlashInfer의 네 번째 성능 개선 라운드 분석Blackwell 아키텍처(SM100/103)에서 Mamba-2 SSD prefill 성능을 극대화하기 위한 정밀도 확장 및 메모리 접근 최적화 기법 분석.#Mamba-2#Blackwell#CUDA#FlashInfer#SSD#Optimization2026년 10월 10일댓글 수 로딩 중
[논문리뷰] Compiler-First State Space Duality and Portable O(1) Autoregressive Caching for Inference이 논문은 Mamba-2 의 State Space Duality (SSD) 알고리즘이 기존의 NVIDIA CUDA/Triton 커널 에 대한 의존성 없이도 XLA 컴파일러 를 통해 효율적이고 이식성 높은 추론 성능을 달성할 수 있음을 증명하는 것을 목표로 합니다.#Review#State Space Models#Mamba-2#XLA#JAX#Compiler Codegen#Autoregressive Caching#Hardware Portability#Inference Optimization2026년 3월 10일댓글 수 로딩 중
[논문리뷰] 2Mamba2Furious: Linear in Complexity, Competitive in Accuracy본 논문은 효율성이 높지만 정확도가 낮은 선형 어텐션 과 정확도는 높지만 연산 복잡도가 높은 소프트맥스 어텐션 간의 격차를 해소하는 것을 목표로 합니다. 구체적으로 Mamba-2 의 표현력을 향상시켜 소프트맥스 어텐션에 필적하는 정확도를 달성하면서도 선형적인 복잡도를 유지하는 새로운 어텐션 메커니즘을 제안합니다.#Review#Linear Attention#Mamba-2#High-Order Attention#Model Efficiency#Long Context#Transformer#State Space Models2026년 2월 19일댓글 수 로딩 중