[논문리뷰] OneHOI: Unifying Human-Object Interaction Generation and Editing

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

메타데이터

저자: Jiun Tian Hoe, Weipeng Hu, Xudong Jiang, Yap-Peng Tan, Chee Seng Chan

1. Key Terms & Definitions (핵심 용어 및 정의)

• R-DiT (Relational Diffusion Transformer): 기존의 일반적인 DiT에 상호작용 구조를 명시적으로 모델링하기 위한 4가지 핵심 구성 요소(Action Grounding, HOI Encoder, Structured HOI Attention, HOI RoPE)를 결합한 새로운 Backbone 모델입니다.
• HOI Encoder: 각 interaction instance의 subject, object, action 역할과 인스턴스 정체성을 인코딩하여, 다중 상호작용 장면에서 발생할 수 있는 역할 혼동(Role Confusion)을 방지하는 모듈입니다.
• Structured HOI Attention: 상호작용의 핵심인 action을 매개로 하여, subject와 object 간의 verb-mediated topology를 강제하고 레이아웃 제약 조건을 적용하여 정교한 관계를 학습시키는 Attention 메커니즘입니다.
• HOI RoPE: 다중 상호작용 장면에서 서로 다른 인스턴스가 간섭하는 현상인 'cross-talk'를 제거하기 위해, 각 상호작용에 고유한 위치 인덱스를 부여하는 포지셔닝 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 HOI(Human-Object Interaction)의 생성과 편집이 서로 분리된 연구 흐름으로 발전해 온 비효율성을 해결하기 위해 통합 프레임워크인 OneHOI를 제안합니다. 기존 생성 모델은 레이아웃에 기반한 합성은 가능하나 유연한 복합 제어가 어렵고, 편집 모델은 동작(pose)과 물리적 접촉을 명확히 분리하지 못하며 다중 상호작용으로 확장하기 어렵다는 한계가 있습니다. 특히, 기존 DiT 기반 모델들은 개별 객체 단위의 배치는 뛰어나지만 명시적인 상호작용 구조에 대한 이해가 부족하여 결과물이 관계적으로 피상적이라는 문제가 있습니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 생성과 편집을 하나의 조건부 노이즈 제거 과정(conditional denoising process)으로 재정의하고, R-DiT를 통해 상호작용의 문법을 모델링합니다. Action Grounding 모듈은 상호작용의 의미적/공간적 범위를 subject와 object 영역의 합집합(union)으로 정의하여 DiT의 attention footprint와 더 잘 정렬되도록 설계되었습니다 [Figure 4]. Structured HOI Attention은 subject와 object의 직접 연결을 차단하고 action을 통해서만 상호작용 정보가 흐르도록 하여 관계적 정합성을 높입니다 [Figure 5]. 실험 결과, OneHOI는 레이아웃 기반 편집 작업에서 기존 최고 성능 모델 대비 Editability-Identity는 10.0%, HOI Editability는 16.0% 향상된 성능을 기록하였습니다 [Table 1]. 또한, 새로운 다중 상호작용 편집(Multi-HOI Editing) 작업에서도 강력한 공간 정렬 성능(Spatial Score 0.675)을 입증했습니다 [Table 2]. 생성 작업에서도 기존 모델 대비 Perceptual Score(ImageReward)가 33.2% 개선되는 등 우수한 성능을 보였습니다 [Table 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 생성과 편집의 통합을 통해 단순한 객체 배치를 넘어 상호작용의 의미적 일관성을 확보한 OneHOI를 성공적으로 구축하였습니다. 이 연구는 R-DiT를 통해 범용적인 생성/편집 프레임워크를 제시하였으며, 다중 상호작용에 대한 편집 가능성을 최초로 증명했습니다. 학계에는 상호작용 구조 모델링의 중요성을 재확인해주었고, 산업계에서는 AR/VR 및 콘텐츠 제작 등 정교한 관계 이해가 필요한 시각적 제어 시스템 구현에 기여할 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

[
  {
    "figure_id": "Figure 1",
    "image_url": "https://arxiv.org/html/2604.14062v1/x1.png",
    "caption_kr": "OneHOI 전체 개요"
  },
  {
    "figure_id": "Figure 3",
    "image_url": "https://arxiv.org/html/2604.14062v1/x6.png",
    "caption_kr": "R-DiT 아키텍처 및 HOI RoPE 설명"
  },
  {
    "figure_id": "Figure 5",
    "image_url": "https://arxiv.org/html/2604.14062v1/x7.png",
    "caption_kr": "Structured HOI Attention 구조"
  }
]

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.