[논문리뷰] Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta AttentionLinear RNN은 시퀀스 길이에 선형적으로 확장되는 효율적인 시퀀스 모델링이 가능하지만, 낮은 Rank correction을 포함하는 선형 업데이트로 인해 Expressivity가 제한된다.#Review#Complex KDA#Kimi Delta Attention#Linear RNNs#Expressivity#State Tracking#Rotation#Diagonal-plus-rank-one#Language Modeling2026년 9월 21일댓글 수 로딩 중
[논문리뷰] Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity본 논문은 Linear RNN 계열 모델들이 긴 문맥을 처리할 때 겪는 메모리 병목 현상을 해결하고자 합니다.#Review#Linear RNNs#Sparse Delta Memory#Product Key Memory#Long-context Retrieval#IsoFLOP#State Scaling2026년 7월 8일댓글 수 로딩 중