[논문리뷰] StateX: Enhancing RNN Recall via Post-training State Expansion본 논문은 Transformer 대비 긴 컨텍스트 처리 효율이 높은 RNN 계열 모델들이 고정된 크기의 recurrent state 로 인해 장문 컨텍스트에서의 정보 회상 능력(recall ability) 이 떨어지는 문제를 해결하고자 합니다.#Review#RNN#State Expansion#Post-training#Long-context Recall#Linear Attention#State Space Models#GLA#Mamba22025년 9월 29일댓글 수 로딩 중
[논문리뷰] Artificial Hippocampus Networks for Efficient Long-Context Modeling본 논문은 RNN의 효율적인 고정 크기 메모리와 Transformer의 손실 없는 확장 가능 메모리 사이의 근본적인 트레이드오프를 해결하여, 장문 컨텍스트 모델링에서 효율성과 정확도를 동시에 달성하는 것을 목표로 합니다.#Review#Long-Context Modeling#Transformer#RNN#Memory Management#Self-Distillation#Attention Mechanism#Artificial Hippocampus Networks#Cognitive Science2025년 10월 9일댓글 수 로딩 중