#Global Context Collapse

1개의 포스트

[논문리뷰] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head

arXiv에 게시된 'MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head' 논문에 대한 자세한 리뷰입니다.

#Review #Linear Attention #Multi-Head Attention #Transformer #Global Context Collapse #Representational Diversity #Image Generation #NLP #Video Generation

2026년 1월 12일