[논문리뷰] Post-LayerNorm Is Back: Stable, ExpressivE, and Deep현재 대규모 언어 모델(LLM)의 스케일링이 한계에 부딪혔으며, 특히 깊이 스케일링은 이론적으로 우수한 표현력을 제공하지만 기존 Transformer 아키텍처는 극심한 깊이에서 안정적으로 훈련하기 어렵습니다.#Review#Transformer Architecture#Layer Normalization#Depth Scaling#Training Stability#Large Language Models#Gradient Flow#Highway Networks#Post-LayerNorm2026년 1월 27일댓글 수 로딩 중
[논문리뷰] Who invented deep residual learning?이 논문은 깊은 잔여 학습(deep residual learning) 의 발명 및 진화에 대한 명확한 연대기를 확립하고, 그 핵심 원리와 주요 개발을 주로 Schmidhuber 연구실의 연구, 특히 Sepp Hochreiter의 1991년 학위 논문 과 이후의 LSTM 및 Highway Network 작업을 통해 이루어졌다고 주장하는 것을 목표로 합니다.#Review#Deep Learning History#Residual Connections#Recurrent Neural Networks (RNN)#Long Short-Term Memory (LSTM)#Feedforward Neural Networks (FNN)#Highway Networks#ResNet#Vanishing Gradient2025년 10월 1일댓글 수 로딩 중