[논문리뷰] MiMo-V2-Flash Technical Report본 논문은 빠른 추론 속도와 강력한 추론 및 에이전트 능력을 동시에 갖춘 효율적이고 비용 효율적인 대규모 언어 모델(LLM)인 MiMo-V2-Flash를 개발하는 것을 목표로 합니다.#Review#Mixture-of-Experts#Sliding Window Attention#Multi-Token Prediction#Multi-Teacher On-Policy Distillation#Reinforcement Learning#Long-Context Modeling#Agentic AI2026년 1월 6일댓글 수 로딩 중
[논문리뷰] Fast-weight Product Key Memory본 논문은 최신 언어 모델의 시퀀스 모델링 레이어에서 저장 용량과 계산 효율성 사이의 근본적인 트레이드오프를 해결하는 것을 목표로 합니다.#Review#Fast-weight Memory#Product Key Memory#Episodic Memory#Language Models#Long-Context Modeling#Memory Augmented Networks#Continual Learning2026년 1월 4일댓글 수 로딩 중
[논문리뷰] Kimi Linear: An Expressive, Efficient Attention Architecture표준 트랜스포머의 quadratic 시간 복잡도 와 선형적으로 증가하는 KV 캐시 의 비효율성을 극복하여, 장문 컨텍스트 및 강화 학습(RL) 환경에서 풀 어텐션(Full Attention)과 동등하거나 더 우수한 성능 을 달성하면서도 효율적인 하이브리드 선형 어텐션 아키텍처 를 개발하는 것입니다.#Review#Linear Attention#Hybrid Architecture#Kimi Delta Attention (KDA)#Gating Mechanism#Long-Context Modeling#Efficient Inference#Transformer2025년 10월 31일댓글 수 로딩 중
[논문리뷰] Artificial Hippocampus Networks for Efficient Long-Context Modeling본 논문은 RNN의 효율적인 고정 크기 메모리와 Transformer의 손실 없는 확장 가능 메모리 사이의 근본적인 트레이드오프를 해결하여, 장문 컨텍스트 모델링에서 효율성과 정확도를 동시에 달성하는 것을 목표로 합니다.#Review#Long-Context Modeling#Transformer#RNN#Memory Management#Self-Distillation#Attention Mechanism#Artificial Hippocampus Networks#Cognitive Science2025년 10월 9일댓글 수 로딩 중
[논문리뷰] Glyph: Scaling Context Windows via Visual-Text Compression논문은 대규모 언어 모델(LLM)의 컨텍스트 창을 수백만 토큰 수준으로 확장할 때 발생하는 막대한 계산 및 메모리 비용 문제를 해결하는 것을 목표로 합니다.#Review#Long-Context Modeling#Visual Compression#Vision-Language Models#Token Efficiency#Genetic Algorithms#Multimodal AI#LLM Scaling2025년 10월 21일댓글 수 로딩 중