[논문리뷰] Compiler-First State Space Duality and Portable O(1) Autoregressive Caching for Inference이 논문은 Mamba-2 의 State Space Duality (SSD) 알고리즘이 기존의 NVIDIA CUDA/Triton 커널 에 대한 의존성 없이도 XLA 컴파일러 를 통해 효율적이고 이식성 높은 추론 성능을 달성할 수 있음을 증명하는 것을 목표로 합니다.#Review#State Space Models#Mamba-2#XLA#JAX#Compiler Codegen#Autoregressive Caching#Hardware Portability#Inference Optimization2026년 3월 10일댓글 수 로딩 중
[논문리뷰] 2Mamba2Furious: Linear in Complexity, Competitive in Accuracy본 논문은 효율성이 높지만 정확도가 낮은 선형 어텐션 과 정확도는 높지만 연산 복잡도가 높은 소프트맥스 어텐션 간의 격차를 해소하는 것을 목표로 합니다. 구체적으로 Mamba-2 의 표현력을 향상시켜 소프트맥스 어텐션에 필적하는 정확도를 달성하면서도 선형적인 복잡도를 유지하는 새로운 어텐션 메커니즘을 제안합니다.#Review#Linear Attention#Mamba-2#High-Order Attention#Model Efficiency#Long Context#Transformer#State Space Models2026년 2월 19일댓글 수 로딩 중