#Linear Attention

17개의 포스트

[논문리뷰] Memory Caching: RNNs with Growing Memory

Meisam Razaviyayn이 arXiv에 게시한 'Memory Caching: RNNs with Growing Memory' 논문에 대한 자세한 리뷰입니다.

2026년 3월 1일

[논문리뷰] HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

arXiv에 게시된 'HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation' 논문에 대한 자세한 리뷰입니다.

2026년 2월 25일

[논문리뷰] Test-Time Training with KV Binding Is Secretly Linear Attention

arXiv에 게시된 'Test-Time Training with KV Binding Is Secretly Linear Attention' 논문에 대한 자세한 리뷰입니다.

2026년 2월 24일

[논문리뷰] 2Mamba2Furious: Linear in Complexity, Competitive in Accuracy

Eric C. Larson이 arXiv에 게시한 '2Mamba2Furious: Linear in Complexity, Competitive in Accuracy' 논문에 대한 자세한 리뷰입니다.

2026년 2월 19일

[논문리뷰] SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer

arXiv에 게시된 'SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer' 논문에 대한 자세한 리뷰입니다.

2026년 1월 25일

[논문리뷰] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head

arXiv에 게시된 'MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head' 논문에 대한 자세한 리뷰입니다.

2026년 1월 12일

[논문리뷰] Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers

arXiv에 게시된 'Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers' 논문에 대한 자세한 리뷰입니다.

2025년 12월 21일

[논문리뷰] InfiniteVL: Synergizing Linear and Sparse Attention for Highly-Efficient, Unlimited-Input Vision-Language Models

arXiv에 게시된 'InfiniteVL: Synergizing Linear and Sparse Attention for Highly-Efficient, Unlimited-Input Vision-Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 12월 10일

[논문리뷰] Higher-order Linear Attention

arXiv에 게시된 'Higher-order Linear Attention' 논문에 대한 자세한 리뷰입니다.

2025년 11월 9일

[논문리뷰] Kimi Linear: An Expressive, Efficient Attention Architecture

arXiv에 게시된 'Kimi Linear: An Expressive, Efficient Attention Architecture' 논문에 대한 자세한 리뷰입니다.

2025년 10월 31일

[논문리뷰] Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning

arXiv에 게시된 'Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning' 논문에 대한 자세한 리뷰입니다.

2025년 10월 23일

[논문리뷰] Native Hybrid Attention for Efficient Sequence Modeling

Yu Cheng이 arXiv에 게시한 'Native Hybrid Attention for Efficient Sequence Modeling' 논문에 대한 자세한 리뷰입니다.

2025년 10월 9일

[논문리뷰] SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention

arXiv에 게시된 'SLA: Beyond Sparsity in Diffusion Transformers via Fine-Tunable Sparse-Linear Attention' 논문에 대한 자세한 리뷰입니다.

2025년 9월 30일

[논문리뷰] SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer

arXiv에 게시된 'SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer' 논문에 대한 자세한 리뷰입니다.

2025년 9월 30일

[논문리뷰] StateX: Enhancing RNN Recall via Post-training State Expansion

Zhiyuan Liu이 arXiv에 게시한 'StateX: Enhancing RNN Recall via Post-training State Expansion' 논문에 대한 자세한 리뷰입니다.

2025년 9월 29일

[논문리뷰] Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

Jusen Du이 arXiv에 게시한 'Speed Always Wins: A Survey on Efficient Architectures for Large Language Models' 논문에 대한 자세한 리뷰입니다.

2025년 8월 19일

[논문리뷰] On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective

Eric C. Larson이 arXiv에 게시한 'On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective' 논문에 대한 자세한 리뷰입니다.

2025년 8월 2일