[논문리뷰] 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation본 논문은 Sparse OPD에서 발생하는 기울기 추정의 신뢰성 문제를 해결하고자 합니다. 기존의 On-Policy Distillation(OPD) 방법론들은 학생 모델이 생성한 궤적의 모든 토큰에 대해 교사 감독을 적용하거나, 토큰의 '유용성(usefulness)'에 기반하여 중요한 토큰을 선별했습니다.#Review#On-Policy Distillation#Gradient Estimation#Information Geometry#Signal-to-Noise Ratio#Token Selection#Large Language Models#Sparse Supervision2026년 9월 21일댓글 수 로딩 중
[논문리뷰] SuperLocalMemory V3.3: The Living Brain -- Biologically-Inspired Forgetting, Cognitive Quantization, and Multi-Channel Retrieval for Zero-LLM Agent Memory Systems본 논문은 정보 기하학에 기반한 FRQAD와 Local TurboQuant를 도입하여 메모리 저장 효율과 검색 정밀도를 동시에 달성한다. 저자들은 Fokker-Planck 동역학을 활용하여 메모리의 수명 주기를 수학적으로 관리하며, 이를 통해 고정밀에서 저정밀(32-bit에서 2-bit까지)로 이어지는 단계적 메모리 압축을 구현한다.#Review#Agent Memory#Information Geometry#Vector Quantization#Ebbinghaus Forgetting#Cognitive Architecture#Soft Prompts#Fisher-Rao2026년 4월 16일댓글 수 로딩 중