[논문리뷰] Competing Learning in Hybrid Architectures본 논문은 하이브리드 LLM 아키텍처에서 발생하는 최적화 불균형 문제를 해결하는 것을 목적으로 한다. 기존 연구들은 하이브리드 모델에서 Attention은 장거리 retrieval을, Recurrent 레이어는 단거리 믹싱을 담당하는 이상적인 '분업(Labor Division)'이 필요함을 시사했다.#Review#Hybrid Architectures#LLM Pretraining#Competing Learning#Labor Division#Retrieval Capability#Token Mixer#Better Layer Division (BLD)2026년 10월 19일댓글 수 로딩 중
[논문리뷰] V-CoLA: Vision Token Compression with Linear Attention본 논문은 Linear Attention이 포함된 하이브리드 VLM 구조에서 기존의 vision token 압축 기법들이 구조적 차이로 인해 실패한다는 점을 해결하고자 합니다 .#Review#Vision Token Compression#Linear Attention#Hybrid Architectures#Token Merging#Multimodal LLM#Efficient Inference2026년 10월 8일댓글 수 로딩 중
[논문리뷰] Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design본 연구는 Recursive Self-Improvement의 일환으로 LLM 에이전트가 기존 Transformer 패러다임을 넘어선 차세대 foundation model을 자율적으로 설계할 수 있는지 탐구합니다.#Review#Neural Architecture Search#Foundation Models#LLM Agents#Recursive Self-Improvement#Hybrid Architectures#AIRS-Bench2026년 5월 17일댓글 수 로딩 중
[논문리뷰] UniPrefill: Universal Long-Context Prefill Acceleration via Block-wise Dynamic Sparsification본 논문은 기존의 prefill 가속 기법들이 최신 하이브리드 LLM 아키텍처와 연속 배치(continuous batching) 환경에 부적합하다는 문제를 해결합니다.#Review#Long-Context LLM#Prefill Acceleration#Dynamic Sparsification#Hybrid Architectures#Continuous Batching#vLLM2026년 5월 10일댓글 수 로딩 중
[논문리뷰] Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models본 논문은 소형 언어 모델(SLM) 의 효율적인 배포를 저해하는 실기기 지연 시간 문제를 해결하고, 지연 시간 최적화된 SLM 설계 및 훈련을 위한 일반화 가능한 원칙과 방법론을 제시하는 것을 목표로 합니다.#Review#Small Language Models (SLMs)#Latency Optimization#Hybrid Architectures#Evolutionary Search#Weight Normalization#Efficient Attention#Depth-Width Ratios#Real-device Efficiency2025년 11월 30일댓글 수 로딩 중