[논문리뷰] On the Design of Hyper-Connections: Simplification, Stability, and Scalability이 논문의 핵심 문제는 HC 계열 구조의 구성 요소가 충분히 이해되지 않았고 training overhead가 크다는 점입니다. 이를 해결하기 위해 저자들은 더 단순하면서도 품질과 안정성을 유지하는 HC 설계를 찾습니다.#Review#Hyper-Connections#Residual Connections#Mixture-of-Experts#Memory Access#Kernel Fusion#Training Stability#LLM Pretraining2026년 11월 12일댓글 수 로딩 중