[논문리뷰] On the Design of Hyper-Connections: Simplification, Stability, and Scalability이 논문의 핵심 문제는 HC 계열 구조의 구성 요소가 충분히 이해되지 않았고 training overhead가 크다는 점입니다. 이를 해결하기 위해 저자들은 더 단순하면서도 품질과 안정성을 유지하는 HC 설계를 찾습니다.#Review#Hyper-Connections#Residual Connections#Mixture-of-Experts#Memory Access#Kernel Fusion#Training Stability#LLM Pretraining2026년 11월 12일댓글 수 로딩 중
[논문리뷰] Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width본 논문은 Residual width와 Compute width의 결합을 풀되, 최소한의 아키텍처 변경과 standard operator만으로 넓은 residual state의 이점을 얻는 것을 목표로 합니다.#Review#Residual Connection#Transformer Architecture#Residual Width Expansion#PreNorm/PostNorm#Scaling Laws#Hyper-Connections#Mixture-of-Experts2026년 11월 8일댓글 수 로딩 중
[논문리뷰] xHC: Expanded Hyper-Connections본 논문은 Transformer의 residual stream을 확장하는 기존 HC 계열 기법들이 왜 $N=4$ 수준에서 한계에 직면하는지에 대한 근본적인 원인을 진단합니다.#Review#Hyper-Connections#Transformer#Residual-Stream#Sparse-Architecture#Scaling-Laws#MoE#LLM2026년 7월 19일댓글 수 로딩 중
[논문리뷰] mHC: Manifold-Constrained Hyper-Connections논문은 Hyper-Connections (HC) 가 잔여 스트림의 폭을 넓히고 연결성을 다양화하여 성능을 향상시키지만, 항등 매핑(identity mapping) 속성을 손상시켜 심각한 훈련 불안정성, 제한된 확장성, 그리고 상당한 메모리 접근 오버헤드 를 야기하는 문제를 해결하고자 합니다.#Review#Hyper-Connections#Residual Connections#Manifold Learning#Doubly Stochastic Matrices#Training Stability#Large Language Models#Infrastructure Optimization#Deep Learning Architecture2025년 12월 31일댓글 수 로딩 중
[논문리뷰] Virtual Width Networks본 논문은 Transformer 모델의 히든 차원을 늘릴 때 발생하는 Quadratic한 계산 비용 문제를 해결하면서도, 더 넓은 표현(wider representations)이 제공하는 이점을 얻는 것을 목표로 합니다.#Review#Virtual Width Networks#Transformer#Mixture-of-Experts (MoE)#Scaling Laws#Representation Learning#Model Efficiency#Multi-Token Prediction#Hyper-Connections2025년 11월 16일댓글 수 로딩 중