[논문리뷰] Competing Learning in Hybrid Architectures본 논문은 하이브리드 LLM 아키텍처에서 발생하는 최적화 불균형 문제를 해결하는 것을 목적으로 한다. 기존 연구들은 하이브리드 모델에서 Attention은 장거리 retrieval을, Recurrent 레이어는 단거리 믹싱을 담당하는 이상적인 '분업(Labor Division)'이 필요함을 시사했다.#Review#Hybrid Architectures#LLM Pretraining#Competing Learning#Labor Division#Retrieval Capability#Token Mixer#Better Layer Division (BLD)2026년 10월 19일댓글 수 로딩 중