[논문리뷰] Motion4Motion: Motion Transfer Across Subjects at Inference

링크: 논문 PDF로 바로 열기

메타데이터

저자: Ling-Hao Chen, Zixin Yin, Duomin Wang, Xianfang Zeng, Gang Yu

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• TransPE (Transferring Positional Encoding): 타겟 캐릭터의 특징을 소스 비디오의 모션 궤적(Motion Flow)에 맞춰 재배치함으로써, 훈련 없이도 고충실도 모션 전이를 가능하게 하는 핵심 주의 기구 모듈입니다.
• Motion Flow: 영상 내 특정 포인트들의 시공간적 궤적을 픽셀 레벨에서 추출한 것으로, 스켈레톤 기반의 사전 지식 없이도 동적 움직임을 표현하는 기본 단위입니다.
• DiT (Diffusion Transformer): 비디오 생성을 위한 기반 모델 구조로, 시공간적 의존성을 모델링하며 본 연구에서는 이를 통해 TransPE를 구현합니다.
• Cross-image Correspondence: 소스 비디오의 주체와 타겟 캐릭터 간의 의미적 대응 관계를 지점 매칭(Point Matching)으로 설정하여, 종(Species) 간의 형태적 차이를 극복하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 모션 전이 방식이 스켈레톤 구조에 지나치게 의존함으로써 겪는 범용성 부족 문제를 해결하고자 합니다. 대다수의 기존 연구는 인간 중심의 스켈레톤 사전 지식을 강제하여, 동물과 같이 다양한 형태의 캐릭터 간 모션 전이에 적용하기 어렵습니다 [Figure 1]. 또한, 데이터 부족과 스켈레톤의 부재는 일반적인 캐릭터 모션 전이를 어렵게 만드는 근본적인 원인입니다. 본 논문은 이러한 스켈레톤 기반 프레임워크에서 벗어나, 훈련이 필요 없는(Training-free) 픽셀 단위의 모션 전이 프레임워크인 Motion4Motion을 제안합니다.

Figure 1 — Motion4Motion 프레임워크 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 비디오 내 픽셀 레벨의 모션 흐름을 모델링하고, TransPE를 통해 타겟 캐릭터에 모션을 주입하는 방식을 제안합니다 [Figure 4]. 우선 소스 영상에서 핵심 포인트를 추출하고, 이를 타겟 이미지의 대응 지점과 매칭하여 궤적을 생성합니다 [Figure 3]. 생성된 궤적 정보는 DiT 블록 내부의 self-attention 과정에서 TransPE를 통해 타겟 캐릭터의 외형 특징과 결합됩니다. 이 과정에서 모델은 입력된 모션 궤적을 따라 타겟 캐릭터의 특징을 재배치하며, 별도의 미세 조정(Fine-tuning) 없이도 고품질의 모션 전이를 수행합니다. 실험 결과, Motion4Motion은 다양한 종 간 모션 전이에서 기존의 복잡한 최적화 방식이나 훈련 기반 방법론들보다 우수한 성능을 보입니다. 특히, 사람에서 판다, 거위 등 서로 다른 종으로의 움직임 전이에서 높은 충실도를 달성하며, 스켈레톤 기반 제약으로부터 완전히 자유로운 모습을 보입니다 [Figure 1].

Figure 3 — 영상/이미지 간 대응 관계 구축

Figure 4 — Motion4Motion 시스템 구조

4. Conclusion & Impact (결론 및 시사점)

본 논문은 스켈레톤 없이도 일반적인 캐릭터 간 모션 전이를 가능하게 하는 Motion4Motion 프레임워크를 성공적으로 구축했습니다. 이 연구는 훈련 과정 없이 영상 모션을 클로닝할 수 있는 새로운 패러다임을 제시하며, 캐릭터 애니메이션과 디지털 콘텐츠 생성 분야에 큰 기여를 할 것으로 기대됩니다. 향후 연구는 더욱 복잡한 다중 객체 상호작용 상황에서의 범용성 확장으로 이어질 것입니다. 또한, 본 연구의 훈련 불필요성(Training-free)은 컴퓨팅 자원이 제한된 환경에서도 고성능의 비디오 생성을 가능하게 하여 산업적 활용도가 매우 높습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.