[논문리뷰] Squeeze-Release: Iterative Pruning with Exact Structural Minimization본 논문은 일반적인 비구조적(Unstructured) Pruning이 파라미터의 중요도에 따라 0으로 만들더라도, 실제 tensor의 물리적 크기를 줄이지 못해 모델 압축 효과가 미비한 문제를 해결하고자 한다. .#Review#Network Pruning#Model Compression#Iterative Pruning#Function-preserving Transformations#Layer Normalization2026년 6월 14일댓글 수 로딩 중
[논문리뷰] Post-LayerNorm Is Back: Stable, ExpressivE, and Deep현재 대규모 언어 모델(LLM)의 스케일링이 한계에 부딪혔으며, 특히 깊이 스케일링은 이론적으로 우수한 표현력을 제공하지만 기존 Transformer 아키텍처는 극심한 깊이에서 안정적으로 훈련하기 어렵습니다.#Review#Transformer Architecture#Layer Normalization#Depth Scaling#Training Stability#Large Language Models#Gradient Flow#Highway Networks#Post-LayerNorm2026년 1월 27일댓글 수 로딩 중