[논문리뷰] Disentangling Representation Evolution in Transformers through Directional Decomposition본 논문은 Transformer 계층의 학습된 업데이트 벡터가 왜 상당한 양의 Parallel 성분을 포함하며, 이것이 모델의 성능에 실제적인 기여를 하는지 혹은 단순한 중복(Redundancy)인지를 규명하고자 합니다.#Review#Transformers#Representation Evolution#Directional Decomposition#Parallel Updates#Perpendicular Updates#Attention Value Space#Model Compression2026년 9월 15일댓글 수 로딩 중