[논문리뷰] Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers

링크: 논문 PDF로 바로 열기

저자: Bozhou Li, Yushuo Guan, Haolin Li, Bohan Zeng, Yiyan Ji, Yue Ding, Pengfei Wan, Kun Gai, Yuanxing Zhang, Wentao Zhang

핵심 연구 목표

본 논문은 LLM을 텍스트 인코더로 사용하는 DiT 기반 텍스트-이미지 모델에서, 정적인 텍스트 컨디셔닝이 LLM의 의미론적 계층 구조와 DiT의 동적인 denoising 과정을 충분히 활용하지 못하는 문제를 해결하고자 합니다. 확산 모델의 생성 능력을 향상시키기 위해, 확산 타임스텝 및 DiT 네트워크 깊이에 따라 LLM의 계층적 신호를 적응적으로 라우팅하고 통합하는 메커니즘을 탐구하는 것을 목표로 합니다.

핵심 방법론

저자들은 시간(time-wise) , 깊이(depth-wise) , 그리고 결합(joint) 방식에 따라 다층 LLM 히든 스테이트를 체계적으로 조직하는 경량 게이트를 갖춘 통일된 정규화된 볼록 융합 프레임워크 를 제안합니다. 이 프레임워크는 Diffusion Transformer (DiT) 의 특정 블록(d)과 확산 타임스텝(t)에 따라 동적으로 가중치를 부여하며, Qwen3-VL-4B-Instruct 를 텍스트 인코더로 사용하고 SD3 VAE 와 24개 Transformer 블록 으로 구성된 DiT 백본으로 실험했습니다.

주요 결과

Depth-wise Semantic Routing (S2) 이 가장 우수한 컨디셔닝 전략임을 입증했으며, GenAI-Bench Counting task 에서 기존 penultimate-layer baseline (B1) 대비 +9.97점 , 균일 평균 방식 (B2) 대비 +5.45점 의 향상을 달성했습니다. 반면, 순수 시간(time-wise) 융합 (S1) 은 시각적 생성 충실도를 역설적으로 저하시켰는데, 이는 학습-추론 궤적 불일치(train-inference trajectory mismatch) 로 인한 것으로 분석되었습니다.

AI 실무자를 위한 시사점

본 연구는 DiT 기반 생성 모델에서 LLM의 다층적 의미론적 정보를 효과적으로 활용 하는 새로운 방법을 제시합니다. 특히 깊이(depth-wise) 라우팅 전략 은 모델의 계층적 구조와 LLM의 의미론적 계층을 일치시켜 복잡한 합성적 추론 능력을 향상시킬 수 있는 강력한 접근 방식입니다. 그러나 시간(time-wise) 컨디셔닝 은 추론 시 유효 SNR(Signal-to-Noise Ratio)과 명목상 타임스텝 간의 불일치로 인해 불안정할 수 있으므로, 궤적 인식 신호(trajectory-aware signals) 를 활용한 컨디셔닝 설계의 중요성을 강조합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.