#Sparse Delta Memory

1개의 포스트

[논문리뷰] Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

본 논문은 Linear RNN 계열 모델들이 긴 문맥을 처리할 때 겪는 메모리 병목 현상을 해결하고자 합니다.

#Review #Linear RNNs #Sparse Delta Memory #Product Key Memory #Long-context Retrieval #IsoFLOP #State Scaling

2026년 7월 8일