[논문리뷰] Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation본 논문은 하이브리드 모델로의 전환 시 발생하는 부적절한 재귀적 파라미터 초기화 문제를 해결하고자 합니다. 기존 연구들은 Transformer의 가중치를 복사하는 데 집중하지만, 새롭게 도입되는 GDN의 동역학(decay, gate 등)을 고려하지 않아 초기 모델이 최적화되지 않은 상태에서 학습을 시작하게 됩니다 .#Review#Hybrid Linear Attention#Gated DeltaNet#Model Distillation#Initialization#Softmax Attention#Knowledge Distillation#Recurrent Dynamics2026년 6월 18일댓글 수 로딩 중
[논문리뷰] HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation본 논문은 생성형 추천 시스템에서 초장기 사용자 행동 시퀀스(ultra-long user behavior sequences) 모델링 시 발생하는 효율성과 정확도 간의 근본적인 트레이드오프를 해결하는 것을 목표로 합니다.#Review#Sequential Recommendation#Hybrid Attention#Temporal-Aware#Long Sequences#Generative Recommendation#Linear Attention#Softmax Attention2026년 2월 25일댓글 수 로딩 중
[논문리뷰] On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective이 논문은 Softmax Attention 이 선형 Attention 보다 우수한 성능을 보이는 근본적인 이유를 규명하고, Softmax Attention 의 표현력과 동작 원리를 재귀 신경망(RNN) 관점에서 분석하는 것을 목표로 합니다.#Review#Softmax Attention#Linear Attention#Recurrent Neural Networks (RNNs)#Taylor Series Expansion#Attention Mechanisms#Expressiveness#Transformer Architectures2025년 8월 2일댓글 수 로딩 중