[논문리뷰] Think Twice: The Metis-1.6 Technical Report본 논문은 대규모 매개변수 중심의 모델 확장 방식이 가지는 비용과 비효율성을 극복하고, 더 적은 자원으로 뛰어난 성능을 달성하는 새로운 모델 설계 프레임워크를 제안합니다. 기존의 거대 모델들은 성능 개선을 위해 매개변수 수를 늘리는 데 집중하지만, 이는 학습 및 서빙 비용을 급격히 증가시키는 한계가 있습니다.#Review#Looped Architecture#Mixture-of-Experts#Mamba-2#Parameter Efficiency#Context Extension#Reinforcement Learning2026년 11월 1일댓글 수 로딩 중
[논문리뷰] Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position최신 LLM은 효율적인 긴 문맥 처리를 위해 Full Attention 기반 모델에서 Hybrid Model 구조로 전환되고 있으나, 왜 특정 모듈의 조합이 우수한지, 그리고 이러한 구조가 긴 문맥 확장(Context Extension) 및 외삽(Extrapolation) 성능에 어떻게 영향을 미치는지에 대한 기계적 이해가 부족합니다.#Review#Hybrid Models#Long-Context#Length Extrapolation#Context Extension#Seesaw Effect#Tidal Effect#Linear Attention2026년 10월 7일댓글 수 로딩 중
[논문리뷰] Arcee Trinity Large Technical Report본 논문은 희소한 Mixture-of-Experts (MoE) 아키텍처를 기반으로 하는 대규모 언어 모델인 Trinity Large 를 개발하고, 효율적인 학습 및 추론 성능과 높은 안정성을 달성하는 것을 목표로 합니다.#Review#Mixture-of-Experts#Sparse LLM#Training Stability#Load Balancing#MoE#Transformer Architecture#Context Extension#Muon Optimizer2026년 2월 19일댓글 수 로딩 중