[논문리뷰] CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation

링크: 논문 PDF로 바로 열기

저자: Xiangyang Luo, Xiaozhe Xin, Tao Feng, Xu Guo, Meiguang Jin, Junfeng Ma

1. Key Terms & Definitions (핵심 용어 및 정의)

• CoInteract : 인물 참조 이미지, 제품 참조 이미지, 텍스트 프롬프트, 음성을 입력으로 받아 물리적으로 일관된 HOI 비디오를 합성하는 Diffusion Transformer 기반 end-to-end 프레임워크입니다.
• Human-Aware Mixture-of-Experts (MoE) : 손·얼굴 등 민감한 영역의 토큰을 공간적으로 감독된 라우팅(spatially-supervised routing)으로 전담 expert에 분배해 처리하는 모듈입니다.
• Spatially-Structured Co-Generation : RGB 스트림과 보조 HOI 구조 스트림을 공유 백본 위에서 동시 학습시켜, 백본이 물리적으로 타당한 상호작용 사전(prior)을 학습하도록 하는 학습 패러다임입니다.
• Zero-Overhead Inference : 학습 단계에서만 사용된 보조 HOI 스트림을 추론 시 제거함으로써, 추가 연산 비용 없이 동일 백본으로 결과를 생성하는 설계 원칙입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

인간과 객체가 함께 등장하는 비디오를 diffusion model로 생성할 때 두 가지 고질적 문제가 발생합니다. 첫째, 손과 얼굴 같이 인지적으로 민감한 영역에서 구조적 안정성이 떨어져 손가락 개수가 변하거나 표정이 흔들리는 결함이 자주 발생합니다. 둘째, 손과 객체의 접촉 지점에서 물리적 타당성이 무너져 손이 객체를 관통하거나 잘못된 방향으로 잡는 등의 hand-object interpenetration이 빈번합니다. 이러한 문제는 e-commerce, 디지털 광고, 가상 마케팅 등 인간-객체 상호작용을 그럴듯하게 보여줘야 하는 응용에서 치명적인 신뢰성 저하 요인이 됩니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Diffusion Transformer 백본 위에 두 가지 핵심 설계를 결합한 CoInteract 을 제안합니다. 첫째, Human-Aware MoE 는 손·얼굴 영역의 토큰이 전담 lightweight expert로 라우팅되도록 공간 감독을 부여해, 민감 영역의 구조적 안정성을 강화합니다. 둘째, Spatially-Structured Co-Generation 은 학습 시 RGB 스트림과 함께 HOI 구조(접촉 영역, 손-객체 기하 정보 등)를 출력하는 보조 스트림을 공유 백본 위에서 동시 학습시키고, 추론 시에는 보조 스트림을 제거하여 zero-overhead 로 inference를 수행합니다. 이로써 백본은 명시적인 상호작용 기하 prior를 흡수하게 되어, 동일한 모델이 물리적으로 타당한 손-객체 접촉을 자연스럽게 생성합니다. 정성적·정량적 비교에서 CoInteract은 기존 방법 대비 구조적 안정성, 논리적 일관성, 상호작용 사실성 모두에서 우위를 보고합니다.

4. Conclusion & Impact (결론 및 시사점)

CoInteract은 "민감 영역 전담 처리"와 "보조 구조 스트림을 통한 백본 정규화"라는 두 축으로, HOI 비디오 합성의 두 핵심 장애를 동시에 해결합니다. 학습 시간 동안에만 보조 정보를 활용하고 추론 단계에서는 비용을 부과하지 않는 설계는 실제 서비스 배포 측면에서 매우 실용적입니다. 본 연구는 e-commerce, 광고, 가상 인플루언서 등 사실적인 인간-객체 상호작용을 요구하는 응용 영역의 콘텐츠 자동 생성 파이프라인을 한 단계 끌어올릴 수 있는 청사진을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.