[논문리뷰] Kronecker Delta Rule for Long Context Linear Attention본 논문은 기존 선형 어텐션(Linear Attention) 메커니즘의 메모리 성장 제어 및 간섭 문제 해결을 위해 Kronecker Delta Rule 기반의 KronLSTM을 제안한다.#Review#Kronecker Delta Rule#Linear Attention#Long Context#Associative Memory#Recurrent Neural Networks#Language Modeling#Retrieval Tasks#Memory Stability2026년 10월 19일댓글 수 로딩 중
[논문리뷰] One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts기존 Vision Transformer(ViT)는 각 레이어마다 고유한 파라미터를 갖는 고정된 깊이의 스택 구조로 설계되어 있어, 모델의 용량과 파라미터 수가 깊이에 비례하여 커지는 비효율성을 가집니다.#Review#Vision Transformers#Recurrent Neural Networks#Mixture of Experts#Weight-space Merging#Elastic-depth Inference#Parameter Efficiency2026년 10월 8일댓글 수 로딩 중
[논문리뷰] Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling본 논문은 Linear Attention 기반 RNN 모델들이 Long-Context Sequence Modeling 및 Recall-intensive Tasks에서 겪는 Memory State Size 한계를 Parameter-efficient하게 극복하는 방법을 제안합니다.#Review#Linear Attention#Recurrent Neural Networks#Long-Context Modeling#Memory State Size#Triadic Tensor State#Parameter Efficiency#Gated DeltaNet#Associative Memory2026년 10월 4일댓글 수 로딩 중
[논문리뷰] Reason Through the Latent! Making Latent Visual Reasoning Necessary본 논문은 기존 Latent Visual Reasoning 방법론들이 latent state에 task-relevant visual information을 포함하더라도, 모델이 실제로 해당 state에 의존하여 예측을 수행하는지에 대한 근본적인 모호성을 해결하고자 한다.#Review#Latent Visual Reasoning#Causal Intervention#Recurrent Neural Networks#Multimodal LLMs#Visual Question Answering#Vision-Language Models2026년 9월 8일댓글 수 로딩 중
[논문리뷰] Safin-1: Safety from Within through Memory-Native State Evolution본 논문은 장기적인 상호작용과 복잡한 작업을 수행하는 모델에서 안전성과 기억 유지가 분리되어 있는 기존 모델의 구조적 한계를 해결하고자 합니다.#Review#Foundation Models#Long-horizon Intelligence#Memory-Native State Evolution#Safety from Within#Recurrent Neural Networks#State-Space Models#MARCH2026년 9월 1일댓글 수 로딩 중
[논문리뷰] Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention본 논문은 Linear Attention 기반 모델들에서 메모리 편집의 핵심인 erase(제거)와 write(삽입) 동작이 단일 scalar gate에 의해 묶여 있는 구조적 한계를 해결하고자 합니다.#Review#Linear Attention#Recurrent Neural Networks#Delta Rule#Fast-Weight Memory#Selective State Space#Chunkwise Parallel Training#Long-Context Retrieval2026년 5월 21일댓글 수 로딩 중
[논문리뷰] WriteSAE: Sparse Autoencoders for Recurrent State본 논문은 기존의 Residual SAE가 해결하지 못했던 state-space 및 hybrid recurrent language model의 matrix cache write 문제를 다룬다.#Review#Sparse Autoencoders#State-Space Models#Recurrent Neural Networks#Mechanistic Interpretability#Cache-Patching#WriteSAE2026년 5월 13일댓글 수 로딩 중
[논문리뷰] Memory Caching: RNNs with Growing Memory본 논문은 고정된 메모리 크기 로 인해 장문 시퀀스에서 과거 정보를 잊어버리는 Recurrent Neural Networks (RNNs)의 한계를 해결하고자 합니다.#Review#Recurrent Neural Networks#Memory Caching#Sequence Modeling#Long-Context#Transformers#Linear Attention#Language Modeling#Retrieval Tasks2026년 3월 1일댓글 수 로딩 중
[논문리뷰] Recurrent-Depth VLA: Implicit Test-Time Compute Scaling of Vision-Language-Action Models via Latent Iterative Reasoning기존 VLA 모델의 고정된 연산 깊이로 인한 비효율성과 토큰 기반 추론의 메모리 및 연속적인 액션 공간 한계를 해결합니다. 태스크 복잡도에 따라 테스트 시 연산량을 동적으로 조절 하고, 일정한 메모리 공간 을 유지하며 로봇 제어 를 위한 효율적인 추론 메커니즘을 제공하는 것을 목표로 합니다.#Review#Vision-Language-Action Models#Latent Iterative Reasoning#Adaptive Compute#Recurrent Neural Networks#Robotics#Transformer#Test-Time Scaling#Continuous Action Space2026년 2월 9일댓글 수 로딩 중
[논문리뷰] Universal Reasoning Model본 연구는 Universal Transformer (UT) 모델이 ARC-AGI 와 같은 복잡한 추론 태스크에서 성능 향상을 보이는 근본적인 원인을 체계적으로 분석하는 것을 목표로 합니다.#Review#Universal Transformer#Recurrent Neural Networks#ARC-AGI#Reasoning Tasks#Nonlinearity#Convolutional Gating#Truncated Backpropagation#Model Efficiency2025년 12월 17일댓글 수 로딩 중
[논문리뷰] QKAN-LSTM: Quantum-inspired Kolmogorov-Arnold Long Short-term Memory본 연구는 기존 LSTM 모델 의 높은 파라미터 중복성과 제한된 비선형 표현력 문제를 해결하고, 특히 도시 통신 예측과 같은 복잡한 시계열 모델링 태스크에서 성능을 향상시키는 것을 목표로 합니다.#Review#Quantum Machine Learning#Kolmogorov-Arnold Networks#Long Short-Term Memory (LSTM)#Time Series Forecasting#Hybrid Quantum-Classical Learning#Quantum-inspired#Recurrent Neural Networks2025년 12월 4일댓글 수 로딩 중
[논문리뷰] Flow Equivariant Recurrent Neural Networks본 논문은 기존 정적 변환 및 피드포워드 네트워크 에 국한된 equivariance 이론을 확장하여, 시각적 움직임과 같은 시간 매개변수화된 흐름(flows)을 포착하는 순환 신경망(RNN) 에 적용하는 것을 목표로 합니다.#Review#Flow Equivariance#Recurrent Neural Networks#Sequence Models#Group Equivariance#Lie Subgroups#Generalization#Time-Parameterized Symmetries2025년 8월 2일댓글 수 로딩 중