[논문리뷰] 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation본 논문은 Sparse OPD에서 발생하는 기울기 추정의 신뢰성 문제를 해결하고자 합니다. 기존의 On-Policy Distillation(OPD) 방법론들은 학생 모델이 생성한 궤적의 모든 토큰에 대해 교사 감독을 적용하거나, 토큰의 '유용성(usefulness)'에 기반하여 중요한 토큰을 선별했습니다.#Review#On-Policy Distillation#Gradient Estimation#Information Geometry#Signal-to-Noise Ratio#Token Selection#Large Language Models#Sparse Supervision2026년 9월 21일댓글 수 로딩 중
[논문리뷰] Self-Guided Test-Time Training for Long-Context LLMs본 논문은 긴 문맥을 처리하는 LLM의 성능이 문맥의 길이에 따라 저하되는 현상이 단순히 문맥을 모두 담지 못해서가 아니라, 질문에 필요한 핵심 증거를 식별하고 활용하는 능력이 부족하기 때문임을 지적합니다.#Review#Long-Context LLMs#Test-Time Training (TTT)#Evidence Selection#Parameter Adaptation#Context Reasoning#Signal-to-Noise Ratio2026년 7월 12일댓글 수 로딩 중
[논문리뷰] TingIS: Real-time Risk Event Discovery from Noisy Customer Incidents at Enterprise Scale본 논문은 대규모 클라우드 네이티브 서비스 환경에서 고객 피드백으로부터 실시간으로 위험 이벤트를 탐지하는 시스템의 미흡함을 해결하기 위해 제안되었다.#Review#Risk Event Discovery#Large Language Models#Incident Management#Signal-to-Noise Ratio#Event Linking#Enterprise Scale2026년 4월 23일댓글 수 로딩 중
[논문리뷰] RAGEN-2: Reasoning Collapse in Agentic RL본 논문은 Mutual Information (MI) 기반의 진단 프레임워크와 SNR-Aware Filtering 기법을 제안한다. 연구진은 추론 품질을 Within-input diversity (Entropy)와 Cross-input distinguishability (MI)로 분해하여, 학습 과정에서 MI 프록시를 통해 템플릿 붕괴를 조기에 탐지한다 .#Review#Agentic RL#Reasoning Collapse#Mutual Information#Signal-to-Noise Ratio#Reward Variance#Template Collapse2026년 4월 8일댓글 수 로딩 중