[논문리뷰] The Life Cycle of a Massive Activation: Stochastic Birth, Weight-Decay-Driven Growth, and Competitive Consolidation본 논문은 Transformer 모델 내에서 발생하는 Massive Activation(MA)의 형성과 조절 기제를 파악하고자 한다.#Review#Massive Activation#Attention Sink#Weight Decay#AdamW#Transformer#Residual Stream#Scale Dynamics2026년 10월 11일댓글 수 로딩 중