[논문리뷰] HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

링크: 논문 PDF로 바로 열기

저자: Lei Xin, Yuhao Zheng, Ke Cheng, Changjiang Jiang, Zifan Zhang, Fanhu Zeng

핵심 연구 목표

본 논문은 생성형 추천 시스템에서 초장기 사용자 행동 시퀀스(ultra-long user behavior sequences) 모델링 시 발생하는 효율성과 정확도 간의 근본적인 트레이드오프를 해결하는 것을 목표로 합니다. 특히, 선형 어텐션(linear attention) 의 제한된 표현력과 소프트맥스 어텐션(softmax attention) 의 높은 계산 비용이라는 문제점을 동시에 극복하고자 합니다.

핵심 방법론

저자들은 HyTRec 이라는 하이브리드 어텐션 아키텍처를 제안합니다. 이 아키텍처는 사용자 행동 시퀀스를 단기 행동 시퀀스(short-term behavior sequence) 와 장기 이력 행동 시퀀스(long-term historical behavior sequence) 로 분리합니다. 단기 시퀀스는 표준 Multi-Head Self-Attention (MHSA) 을 사용하여 정밀하게 모델링하고, 장기 시퀀스는 Temporal-Aware Delta Network (TADN) 를 활용한 선형 어텐션 으로 효율성을 높이며, 드물게 소프트맥스 어텐션 레이어 를 삽입하여 정확도를 보존합니다. TADN 은 시간 기반 감쇠 계수를 통해 최근 행동 신호를 동적으로 가중하여 관심사 변화를 빠르게 포착합니다.

주요 결과

HyTRec 은 초장기 시퀀스를 가진 사용자들에게 Hit Rate에서 8% 이상 의 개선을 달성했으며, 강력한 기준 모델 대비 평균 5.8%의 NDCG 성능 향상을 보였습니다. 또한, 선형 추론 속도 를 유지하며 HSTU 모델보다 최대 5배 이상 높은 처리량 을 기록했습니다. 하이브리드 어텐션의 최적 비율은 선형:소프트맥스 어텐션 레이어 비율 3:1 로 나타나, 성능과 효율성 간의 균형을 효과적으로 달성했습니다.

AI 실무자를 위한 시사점

HyTRec 은 산업 규모의 초장기 시퀀스 추천 시스템 구축에 현실적인 해결책을 제시합니다. 특히 하이브리드 어텐션 아키텍처 와 TADN 은 동적으로 변화하는 사용자 관심사와 안정적인 장기 선호도를 동시에 효율적으로 포착할 수 있음을 보여줍니다. 이를 통해 AI 실무자들은 막대한 계산 비용 없이 생성형 추천 모델 을 대규모로 배포하고, 사용자 행동 데이터의 잠재력을 최대한 활용할 수 있는 기반을 마련할 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.