[논문리뷰] MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-HeadTransformer의 핵심 모듈인 Self-Attention의 2차 시간 복잡성 으로 인한 확장성 문제를 해결하고자 합니다.#Review#Linear Attention#Multi-Head Attention#Transformer#Global Context Collapse#Representational Diversity#Image Generation#NLP#Video Generation2026년 1월 12일댓글 수 로딩 중
[논문리뷰] A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition본 논문은 기존 EEG 기반 감정 인식 모델들이 간과했던 뇌의 상이한 피질 영역 간의 동적 상호작용을 해결하고자 합니다.#Review#EEG#Emotion Recognition#Transformer Architecture#Inter-Cortical Neural Interactions#Multi-Head Attention#Brain-Computer Interface#Affective Computing2025년 11월 18일댓글 수 로딩 중
[논문리뷰] The Strong Lottery Ticket Hypothesis for Multi-Head Attention Mechanisms이 논문은 기존 연구에서 다루지 않았던 트랜스포머 아키텍처 의 핵심 구성 요소인 Multi-Head Attention (MHA) 메커니즘 에 대한 Strong Lottery Ticket Hypothesis (SLTH) 를 이론적으로 확립하는 것을 목표로 합니다.#Review#Strong Lottery Ticket Hypothesis#Multi-Head Attention#Transformers#Neural Network Pruning#Overparameterization#Weight Initialization#Model Compression2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Knocking-Heads Attention본 논문은 기존 Multi-Head Attention (MHA) 의 어텐션 헤드들이 독립적으로 작동하여 개별 헤드 역량 저하 및 상호작용 부족을 야기하는 문제를 해결하고자 합니다.#Review#Multi-Head Attention#Transformer#Large Language Models#Inter-Head Communication#Parameter Sharing#Training Stability#Diagonal Initialization2025년 10월 28일댓글 수 로딩 중