[논문리뷰] One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts

링크: 논문 PDF로 바로 열기

메타데이터

저자: Adrian Bulat, Yassine Ouali, Georgios Tzimiropoulos, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• reViT: 단일 Transformer 블록을 반복적으로 사용하여 깊이(depth)에 따른 변환을 학습하는 Recurrent Vision Transformer 아키텍처입니다.
• Depth-Programmed Experts: 표준적인 토큰 수준의 라우팅 대신, normalized recurrent depth를 입력으로 받아 Expert FFN의 가중치를 동적으로 결합(merging)하는 방식입니다.
• Elastic-depth Inference: 학습된 동일한 모델을 추론 시점에 다른 깊이(number of layers)로 resampling하여 성능과 연산량의 트레이드오프를 유연하게 조절하는 기능입니다.
• Weight-space Merging: 개별 Expert의 가중치를 가중 평균하여 단일 Dense FFN으로 병합한 뒤 실행함으로써, 추가적인 FFN 연산 없이도 모델의 표현력을 확장하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존 Vision Transformer(ViT)는 각 레이어마다 고유한 파라미터를 갖는 고정된 깊이의 스택 구조로 설계되어 있어, 모델의 용량과 파라미터 수가 깊이에 비례하여 커지는 비효율성을 가집니다. 최근 Recurrent 모델들이 파라미터 효율성을 제시하지만, 고정된 깊이의 ViT가 가지는 깊이별 특화된 표현력을 완벽히 재현하지 못하는 한계가 있습니다. 이를 해결하기 위해 본 논문은 단일 블록을 반복 사용하면서도, Depth-Programmed Experts를 통해 깊이별로 최적화된 computation을 수행할 수 있는 방식을 제안합니다. 이는 [Figure 1]에서 볼 수 있듯이, 모델의 깊이를 임의로 조정 가능한 Elastic-depth Inference를 가능하게 하여 효율적인 모델 배포를 목표로 합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들이 제안하는 reViT는 normalized recurrent depth 좌표를 router에 입력하여 가중치 뱅크에서 최적의 FFN 파라미터를 생성하는 방식을 채택합니다. 이 모델은 supervised ImageNet-1k 학습 및 DINOv2 distillation 환경에서 검증되었습니다. 실험 결과, reViT-B/16은 DeiT III와 대등한 정확도를 달성하면서도 파라미터 수를 약 73% 줄이는 고효율을 입증했습니다 [Table 1]. 또한, distillation 설정에서 E=8 모델은 DINOv2 교사 모델의 linear-probe 정확도와 거의 일치하는 성능을 보이며 다양한 하위 태스크로의 전이 가능성을 확인했습니다 [Table 2]. 특히 weight-space merging 기반의 reViT는 동일한 FFN budget 내에서 타 MoE 기법들보다 우수한 성능을 나타냈으며, [Figure 2]에 제시된 바와 같이 inference 시점에 깊이를 변경하더라도 안정적인 성능 향상을 보입니다 [Figure 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 단일 Transformer 블록의 반복적 사용만으로도 기존의 고정된 깊이 ViT와 동등한 성능을 낼 수 있음을 입증하며, 효율적인 시각 모델 설계의 새로운 패러다임을 제시합니다. Depth-Programmed Experts와 Elastic-depth Inference의 결합은 파라미터 효율성과 추론 유연성을 동시에 확보함으로써 대규모 모델 배포가 필요한 산업계 현장에 실질적인 솔루션을 제공합니다. 향후 본 연구는 경량화된 비전 모델의 범용성을 넓히고, 재사용 가능한 블록 기반 아키텍처 연구의 기초 자료가 될 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — reViT 모델의 전체 구조

Figure 2 — 탄력적 깊이 추론 결과

Figure 3 — 깊이별 expert 라우팅 시각화

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.