[논문리뷰] DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections본 논문은 표준 Transformer가 가진 고정된 residual connection 구조의 한계를 해결하고자 합니다. 기존의 Transformer는 모든 레이어가 고정된 경로를 통해 정보를 공유하므로, 특정 레이어 간의 동적인 정보 흐름이나 유연한 연결을 설계하기 어렵습니다.#Review#Transformer#Cross-Layer Connections#Topology Prediction#Dynamic Computation#Language Modeling#Structured Pruning2026년 10월 18일댓글 수 로딩 중
[논문리뷰] Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone현대 Transformer 아키텍처의 설계 및 압축은 고정된 parameter 또는 compute budget 하에서 capacity를 architectural component에 어떻게 배분할지에 대한 문제로 귀결됩니다.#Review#Neural Spectral Capacity#Dynamic Programming#Architecture Search#Structured Pruning#Random Matrix Theory#Transformer2026년 9월 24일댓글 수 로딩 중
[논문리뷰] ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation본 논문은 구조적 프루닝(Structured Pruning)이 적용된 LLM이 객관식 벤치마크에서는 성능을 유지하지만, 실제 배포 시 요구되는 자유 형식 생성(Free-form generation)에서는 심각하게 붕괴하는 현상을 해결하고자 합니다.#Review#Structured Pruning#On-Policy Distillation#LLM Compression#Model Recovery#Repetition Control#Token-level Supervision2026년 7월 15일댓글 수 로딩 중
[논문리뷰] OBS-Diff: Accurate Pruning For Diffusion Models in One-Shot대규모 텍스트-이미지 확산 모델의 과도한 연산 비용 문제를 해결하고, 기존 원샷 네트워크 가지치기(pruning) 방법론이 확산 모델의 반복적인 노이즈 제거 특성 과 복잡한 아키텍처 에 직접 적용하기 어려운 한계를 극복하는 것을 목표로 합니다.#Review#Diffusion Models#Network Pruning#One-Shot Pruning#Optimal Brain Surgeon (OBS)#Model Compression#Timestep-Aware Hessian#Structured Pruning2025년 10월 9일댓글 수 로딩 중