[논문리뷰] Advancing SVD-based LLM Compression via Layer-Wise Error Model Search본 연구는 SVD 기반 LLM 압축에서 발생하는 글로벌 rank 할당의 비효율성과 Fisher 기반 분해 품질 저하 문제를 해결합니다. 기존의 rank 할당 방식은 단순한 로컬 감도(sensitivity) 프록시에 의존하거나 오류 전파를 고려하지 않아 실제 모델 성능 저하를 정확히 반영하지 못합니다 .#Review#LLM Compression#SVD#Rank Allocation#Fisher Information#KFAC-SVD#LEMS#ILP2026년 11월 2일댓글 수 로딩 중
[논문리뷰] Rubric Rewards from Item Response Theory본 논문은 정답이 고정되지 않은 복잡한 언어 태스크에서 Rubric 기반 보상 합산 방식의 구조적 한계를 해결하고자 합니다.#Review#Reinforcement Learning#Rubric Response Theory#Item Response Theory#Criterion Selection#Fisher Information#Reward Inference#Large Language Models2026년 9월 30일댓글 수 로딩 중
[논문리뷰] Better Together: Leveraging Unpaired Multimodal Data for Stronger Unimodal Models본 논문은 기존 멀티모달 학습이 paired datasets 에 크게 의존하는 한계를 해결하고자 합니다.#Review#Unpaired Multimodal Learning#Unimodal Representation#Weight Sharing#Cross-modal Transfer#Fisher Information#Self-supervised Learning#Multimodal Neurons#Data Efficiency2025년 10월 13일댓글 수 로딩 중
[논문리뷰] GAPrune: Gradient-Alignment Pruning for Domain-Aware Embeddings본 연구는 대규모 언어 모델(LLM) 기반 임베딩 모델의 배포 문제를 해결하기 위해, 기존 가지치기(pruning) 방법론이 일반적인 의미론적 표현과 도메인 특화 패턴을 구분하지 못하여 발생하는 비최적화된 가지치기 결정 의 한계를 극복하고자 합니다.#Review#Model Pruning#Domain Adaptation#Embedding Models#Gradient Alignment#Fisher Information#Model Compression#LLMs2025년 9월 16일댓글 수 로딩 중