[논문리뷰] Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus본 논문은 HLA LLM 내부의 계층별 하이브리드화가 Activation Dynamics를 어떻게 재구성하는지 규명하고자 합니다.#Review#Hybrid Linear Attention#Massive Activations#Pre-Attention Spikes#Inter-Spike Plateaus#Attention Sinks#Language Modeling2026년 8월 13일댓글 수 로딩 중
[논문리뷰] Mitigating Attention Sinks and Massive Activations in Audio-Visual Speech Recognition with LLMS본 연구는 멀티모달 LLM 기반 음성 인식(ASR, VSR, AVSR) 모델에서 발생하는 attention sink 및 massive activation 현상을 최초로 분석하고, 이들이 모델 성능에 미치는 영향을 이해하며, 효과적인 완화 전략을 개발하는 것을 목표로 합니다.#Review#Audio-Visual Speech Recognition#Large Language Models#Attention Sinks#Massive Activations#Decorrelation Loss#Fine-tuning#Multimodal AI2025년 10월 28일댓글 수 로딩 중