[논문리뷰] Falcon-H1R: Pushing the Reasoning Frontiers with a Hybrid Model for Efficient Test-Time Scaling본 연구는 7B 파라미터의 소규모 언어 모델(SLM)인 Falcon-H1R 이 대규모 모델(2배에서 7배 더 큼)과 경쟁하거나 능가하는 추론 성능을 달성할 수 있음을 입증하는 것을 목표로 합니다.#Review#Reasoning#Small Language Models (SLMs)#Hybrid Architecture#Test-Time Scaling (TTS)#Supervised Fine-Tuning (SFT)#Reinforcement Learning (RL)#DeepConf#Computational Efficiency2026년 1월 5일댓글 수 로딩 중
[논문리뷰] Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models본 논문은 소형 언어 모델(SLM) 의 효율적인 배포를 저해하는 실기기 지연 시간 문제를 해결하고, 지연 시간 최적화된 SLM 설계 및 훈련을 위한 일반화 가능한 원칙과 방법론을 제시하는 것을 목표로 합니다.#Review#Small Language Models (SLMs)#Latency Optimization#Hybrid Architectures#Evolutionary Search#Weight Normalization#Efficient Attention#Depth-Width Ratios#Real-device Efficiency2025년 11월 30일댓글 수 로딩 중
[논문리뷰] MoM: Mixtures of Scenario-Aware Document Memories for Retrieval-Augmented Generation Systems기존 RAG 패러다임의 수동적인 텍스트 청킹 방식이 지식 내부화 및 추론 능력을 제한하는 문제를 해결합니다. 인간의 인지 과정을 모방하여 텍스트 처리를 수동적인 청킹에서 사전 이해 기반의 문서 메모리 추출 로 전환하고, SLM이 이러한 심층 이해 능력을 습득하도록 하는 것이 목표입니다.#Review#Retrieval-Augmented Generation (RAG)#Document Memory#Text Chunking#Small Language Models (SLMs)#Large Language Models (LLMs)#Scenario-Aware Processing#Multi-Layer Retrieval#Cognitive Simulation2025년 10월 17일댓글 수 로딩 중