[논문리뷰] Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation본 논문은 긴 시공간 토큰 시퀀스를 처리하는 비디오 생성 모델에서 Softmax attention이 차지하는 높은 연산 비용 문제를 해결하고자 합니다. 기존의 Dense Softmax는 시퀀스 길이에 따라 연산량이 이차함수적으로 증가하여 대규모 비디오 생성을 저해하는 주요 병목이 됩니다.#Review#Video Generation#Hybrid Attention#Linear Attention#Delta Rule#Diffusion Transformers#Efficient Inference#Distillation2026년 9월 17일댓글 수 로딩 중
[논문리뷰] Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention본 논문은 Linear Attention 기반 모델들에서 메모리 편집의 핵심인 erase(제거)와 write(삽입) 동작이 단일 scalar gate에 의해 묶여 있는 구조적 한계를 해결하고자 합니다.#Review#Linear Attention#Recurrent Neural Networks#Delta Rule#Fast-Weight Memory#Selective State Space#Chunkwise Parallel Training#Long-Context Retrieval2026년 5월 21일댓글 수 로딩 중
[논문리뷰] MDN: Parallelizing Stepwise Momentum for Delta Linear Attention본 논문은 기존 Linear Attention 모델들이 가지는 재귀적 업데이트의 한계인 정보 소실과 최적화 효율 저하 문제를 해결하고자 한다. 특히, 기존 모델들은 naive SGD 업데이트에 의존하여 장기 기억 및 문맥 검색(in-context retrieval) 능력에 제약이 있다.#Review#Linear Attention#Delta Rule#Stepwise Momentum#Chunkwise Parallelism#Second-order Dynamical Systems#Gated Linear Architecture2026년 5월 10일댓글 수 로딩 중