[논문리뷰] DepthBench: Measuring How Residual Connections Enable More Computational Depth본 논문은 Transformer에서 Depth 스케일링이 연산 Capacity를 증가시키는 근본적인 방법임에도 불구하고, 현재 LLM들이 Curse of Depth 문제로 인해 아키텍처적 Depth 증가가 효과적인 Computational Depth로 이어지지 않는다는 문제의식에서 출발합니다.#Review#Computational Depth#Residual Connections#Transformer Architectures#Width-Depth Aspect Ratio#DepthBench#Layer Utilization#Pre-training Loss2026년 9월 28일댓글 수 로딩 중