[논문리뷰] InstantHMR : Real-Time Human Mesh Recovery on Your Phone

링크: 논문 PDF로 바로 열기

저자: Mohamed Adjel, Kahina Chalabi, Vincent Bonnet

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• HMR (Human Mesh Recovery): 단일 이미지에서 사람의 3D body mesh를 복원하는 task입니다. 대부분은 mesh를 직접 예측하지 않고 parametric body model의 parameter를 regression하는 방식을 씁니다.
• MHR (Momentum Human Rig): Meta가 공개한 parametric body model로, skeleton과 body shape를 분리(decouple)한 것이 특징입니다. InstantHMR은 rig parameters θ ∈ R^204(root translation/rotation, 130 joint parameters, 68 bone scales)와 identity coefficients β ∈ R^45를 예측합니다.
• NPU (Neural Processing Unit): 2023년 이후 대부분의 스마트폰에 탑재된 전용 가속기입니다. Convolution과 matrix product에 최적화되어 있고, gather, reduction, transpose 같은 연산은 상대적으로 느리게 처리합니다.
• SimCC: keypoint 좌표를 직접 regression하지 않고, x와 y 축을 각각 96개 bin에 대한 classification 문제로 다루는 기법입니다. 각 분포의 expectation이 2D keypoint 좌표가 됩니다.
• CLIFF conditioning: crop이 full image의 어느 위치에서 왔는지를 네트워크에 입력하는 기법입니다. 본 논문에서는 focal length f로 정규화한 두 viewing angle과 box size/f를 사용합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 스마트폰 NPU에서 real-time(≤33 ms, 30 FPS)으로 동작하면서 SOTA 수준의 정확도를 유지하는 HMR 모델이 없다는 문제를 해결하고자 합니다.

기존 SOTA 모델은 GPU를 전제로 설계되었습니다. SAM 3D Body는 desktop GPU에서 person당 416 ms가 걸리고 phone NPU에서는 아예 실행되지 않습니다. 가장 빠른 SOTA인 NLF-S도 Galaxy S23 NPU에서는 67.97 ms가 소요됩니다. 반대로 SMPLer-X-S32, MeshPose처럼 phone에서 real-time으로 도는 모델은 정확도를 크게 희생합니다 [Table 1].

Table 1 — Phone NPU에서 InstantHMR의 latency 우위를 보여주는 핵심 비교표

평가 방식도 문제입니다. 논문마다 person box, focal length, joint set, body model 간 conversion 방식이 달라 같은 모델의 수치가 수 mm씩 달라지며, 이는 방법 간 성능 차이와 비슷한 크기입니다. 따라서 공정한 비교를 위한 통일된 evaluation protocol이 필요합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

InstantHMR은 phone NPU에서 fp16으로, CPU fallback 없이 전체 graph가 컴파일되도록 설계된 MHR regressor family입니다 [Figure 2].

Figure 2 — 제안 모델의 전체 아키텍처를 보여주는 핵심 다이어그램

아키텍처

• 입력과 backbone: 288×288 crop을 ImageNet pretrained HGNetV2 convolutional backbone에 통과시켜 9×9 feature grid를 얻고, 이를 d=512로 projection합니다. 모델 크기는 backbone만 다르며 B0/B1/B2/B4가 각각 N/T/S/M에 해당합니다.
• Decoder: 71개 learned query(body 1개, keypoint 70개)를 사용하는 4-layer transformer decoder가 image token에 attention합니다. CLIFF embedding은 모든 query에 더해집니다.
• Head 구성: body query는 MHR head(6D root rotation, continuous pose, β, bone-scale PCs)와 camera head로, keypoint query는 SimCC head로 연결됩니다.
• Mesh 생성: 3D keypoint와 mesh는 regression하지 않고 rig의 forward kinematics와 linear blend skinning으로 계산하므로 두 결과가 서로 일치합니다. 학습 안정성을 위해 bone scale은 학습 데이터 범위로 bounding합니다.

학습

• SAM 3D Body의 human-annotated MHR fit(SA-1B, AI Challenger, Harmony4D, COCO, MPII, 총 4.2M crops)만 사용하며 teacher distillation은 쓰지 않습니다.
• Loss는 parameter, geometry, image의 세 그룹, 총 11개 term으로 구성됩니다.
• Crop framing augmentation(standard 75% + zoom out/in/shift)은 standard crop만 쓴 경우 대비 EMDB-1 PA-MPJPE를 58.8 → 48.8 mm로 줄인 가장 큰 단일 개선 요인입니다. 288 px 입력은 224 px 대비 4.4–5.5 mm 개선을 가져옵니다.

Speed 결과 [Table 1]

• InstantHMR-M은 Galaxy S23 NPU에서 5.49 ms, S24에서 4.01 ms, RTX 4070 TensorRT에서 0.98 ms로 측정한 모든 방법 중 가장 빠릅니다.
• 더 정확한 phone-compatible 방법인 NLF-S, NLF-L보다 각각 12×, 23× 빠릅니다.
• ViT-H/DINOv3 기반 방법(CameraHMR, TokenHMR, HMR2.0, SAM 3D Body, Fast SAM 3D Body)은 phone NPU에서 실행되지 않습니다.

속도 차이의 원인 NLF는 6,890개 vertex마다 heatmap을 계산하므로 NPU 시간의 71%가 gather/reduction/transpose/softmax에 쓰이고 convolution 비중은 2% 미만입니다. 반면 InstantHMR은 person당 parameter를 한 번만 regression합니다.

Accuracy 결과 [Table 2]

• 11개 경쟁 방법을 통일된 protocol(GT box, calibrated focal, Meta의 공식 MHR-to-SMPL conversion)로 재평가했습니다.
• InstantHMR-M은 EMDB-1 48.8 mm, 3DPW 40.0 mm, RICH 41.7 mm PA-MPJPE를 기록했습니다.
• Phone 실행 가능 방법 중 SMPLer-X, MeshPose, HybrIK, Multi-HMR보다 EMDB-1에서 20–25 mm 더 정확합니다. 3DPW에서는 NLF-S와 0.6 mm 이내 차이입니다.
• Detector box(YOLO11n-pose)를 사용하면 EMDB-1 46.9 mm로 오히려 개선됩니다.
• 학습 데이터 측면에서, InstantHMR은 3DPW/RICH 데이터로 학습하지 않은 반면 일부 경쟁 방법은 이를 사용했습니다.

Table 2 — 통일된 protocol 하에서 11개 경쟁 방법과의 정확도 비교 결과

Family 비교

• NPU latency는 N→M에서 4.60 → 5.49 ms로 거의 변하지 않습니다.
• 반면 S23 CPU에서는 31.5 → 93.0 ms로 약 3배 증가합니다.
• 상업적 사용이 가능한 이미지만으로 학습한 InstantHMR-M-C는 EMDB-1 72.2 mm로, 정확도가 크게 떨어집니다.

4. Conclusion & Impact (결론 및 시사점)

InstantHMR-M은 phone NPU에서 real-time으로 동작하는 방법 중 가장 정확한 HMR 모델입니다. Galaxy S23 NPU에서 6,890-vertex mesh를 5.49 ms에 복원합니다.

이 결과가 주는 시사점은 다음과 같습니다.

• NPU 친화적 설계의 중요성: NPU에서의 속도는 FLOPs나 파라미터 수보다 연산 유형(convolution/matmul vs. gather/reduction)에 크게 좌우됩니다.
• 평가 방법론 측면: 11개 방법을 통일된 protocol로 재평가하고 각 방법의 reproduction verdict를 함께 공개해, HMR 분야의 공정한 비교 기반을 제공합니다.
• 응용 측면: AR/VR, tele-rehabilitation, exergames, robotics 등 privacy와 low latency가 중요한 on-device 응용에 직접 활용될 수 있습니다.

남은 한계도 명시되어 있습니다.

• Hand 전용 branch가 없습니다.
• Apple Neural Engine에서는 평가하지 않았습니다.
• Temporal metric(jitter 등)을 보고하지 않았습니다.
• Research-only 데이터에 의존해 상업용 모델(M-C)과의 정확도 격차가 큽니다.

저자들은 "training image가 어떤 architectural change보다 더 중요하다"고 결론지으며, permissive license를 가진 데이터(real 또는 synthetic) 확보가 향후 핵심 과제임을 강조합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.