[논문리뷰] Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models소형 언어 모델(SLM)에서 임베딩 테이블이 전체 파라미터의 대부분을 차지하며 메모리 병목의 주원인이 되는 구조적 문제를 해결하는 것이 본 연구의 목적입니다.#Review#Language Models#Embedding Table#Quantization#BitNet#Frozen Vocabulary#Parameter Efficiency#Memory Bandwidth2026년 10월 18일댓글 수 로딩 중
[논문리뷰] Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference본 논문은 GPU용으로 설계된 거대 모델을 단순히 경량화하여 CPU에 적용하는 방식의 비효율성을 해결하고자 합니다.#Review#CPU Inference#Language Models#Hybrid Architecture#Memory Bandwidth#Quantization#Convolution#Attention#Efficiency2026년 8월 23일댓글 수 로딩 중