[논문리뷰] Causal Attention with Lookahead Keys이 연구는 자기회귀(autoregressive) 언어 모델 의 핵심 구성 요소인 표준 인과적 어텐션(causal attention)이 이전 문맥에만 의존하여 전역적 문맥 파악과 자연어 이해 능력을 저해하는 문제를 해결하는 것을 목표로 합니다.#Review#Causal Attention#Lookahead Keys#Autoregressive Modeling#Language Models#Transformer#Perplexity Reduction#Parallel Training#Efficient Inference2025년 9월 10일댓글 수 로딩 중
[논문리뷰] Autoregressive Universal Video Segmentation Model현재 단편화된 비디오 분할 태스크들을 단일 아키텍처 로 통합하고, 프롬프트 기반(prompted) 및 비프롬프트 기반(unprompted) 비디오 분할을 아우르는 범용 모델을 개발하는 것이 목표입니다.#Review#Video Segmentation#Autoregressive Model#Universal Model#State Space Models#Mamba#Parallel Training#Streaming Video#Deep Learning2025년 8월 27일댓글 수 로딩 중