[논문리뷰] LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws본 논문은 LLM의 Scaling Laws를 경험적 관측이 아닌, Shannon의 정보 이론적 프레임워크를 통해 이론적으로 규명하고자 합니다.#Review#Information Theory#Scaling Laws#Noisy Channel#Model Capacity#LLM#Mutual Information2026년 5월 24일댓글 수 로딩 중
[논문리뷰] RAGEN-2: Reasoning Collapse in Agentic RL본 논문은 Mutual Information (MI) 기반의 진단 프레임워크와 SNR-Aware Filtering 기법을 제안한다. 연구진은 추론 품질을 Within-input diversity (Entropy)와 Cross-input distinguishability (MI)로 분해하여, 학습 과정에서 MI 프록시를 통해 템플릿 붕괴를 조기에 탐지한다 .#Review#Agentic RL#Reasoning Collapse#Mutual Information#Signal-to-Noise Ratio#Reward Variance#Template Collapse2026년 4월 8일댓글 수 로딩 중
[논문리뷰] Efficient RLVR Training via Weighted Mutual Information Data Selection본 논문은 대규모 언어 모델(LLMs)의 강화 학습(RL) 훈련 과정에서 발생하는 데이터 선택의 비효율성 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Data Selection#Mutual Information#Epistemic Uncertainty#LLMs#RLVR#Training Efficiency2026년 3월 2일댓글 수 로딩 중
[논문리뷰] An Information Theoretic Perspective on Agentic System Design논문은 에이전트형 언어 모델(LM) 시스템, 특히 컴프레서-프레딕터(compressor-predictor) 아키텍처 의 설계에 대한 체계적인 이해 부족을 해결하고자 합니다.#Review#Agentic Systems#Language Models#Mutual Information#Rate-Distortion Theory#Compute Efficiency#Scaling Laws#Compressor-Predictor Architecture#On-device AI2025년 12월 29일댓글 수 로딩 중
[논문리뷰] MI-Fuse: Label Fusion for Unsupervised Domain Adaptation with Closed-Source Large-Audio Language Model논문은 소스 도메인 데이터가 없고, 강력한 LALM(Large Audio-Language Model) 이 API 를 통해서만 접근 가능한 현실적인 SFUDA(Source-Free Unsupervised Domain Adaptation) 시나리오를 해결하는 것을 목표로 합니다.#Review#Speech Emotion Recognition#Source-Free Unsupervised Domain Adaptation#Large Audio-Language Models#Label Fusion#Mutual Information#API-Only Models#Domain Mismatch2025년 9월 26일댓글 수 로딩 중
[논문리뷰] REINA: Regularized Entropy Information-Based Loss for Efficient Simultaneous Speech Translation동시 음성 번역(SimulST) 시스템에서 번역 품질과 지연 시간 간의 최적의 균형을 달성하는 것이 주요 과제입니다.#Review#Simultaneous Speech Translation#Adaptive Policy#Entropy-based Loss#Mutual Information#Latency-Quality Trade-off#Speech-to-Text Translation#REINA2025년 8월 8일댓글 수 로딩 중