[논문리뷰] Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone현대 Transformer 아키텍처의 설계 및 압축은 고정된 parameter 또는 compute budget 하에서 capacity를 architectural component에 어떻게 배분할지에 대한 문제로 귀결됩니다.#Review#Neural Spectral Capacity#Dynamic Programming#Architecture Search#Structured Pruning#Random Matrix Theory#Transformer2026년 9월 24일댓글 수 로딩 중
[논문리뷰] ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation본 논문은 구조적 프루닝(Structured Pruning)이 적용된 LLM이 객관식 벤치마크에서는 성능을 유지하지만, 실제 배포 시 요구되는 자유 형식 생성(Free-form generation)에서는 심각하게 붕괴하는 현상을 해결하고자 합니다.#Review#Structured Pruning#On-Policy Distillation#LLM Compression#Model Recovery#Repetition Control#Token-level Supervision2026년 7월 15일댓글 수 로딩 중
[논문리뷰] OBS-Diff: Accurate Pruning For Diffusion Models in One-Shot대규모 텍스트-이미지 확산 모델의 과도한 연산 비용 문제를 해결하고, 기존 원샷 네트워크 가지치기(pruning) 방법론이 확산 모델의 반복적인 노이즈 제거 특성 과 복잡한 아키텍처 에 직접 적용하기 어려운 한계를 극복하는 것을 목표로 합니다.#Review#Diffusion Models#Network Pruning#One-Shot Pruning#Optimal Brain Surgeon (OBS)#Model Compression#Timestep-Aware Hessian#Structured Pruning2025년 10월 9일댓글 수 로딩 중