본문으로 건너뛰기

[논문리뷰] OneSteer: Unlocking Steerable General Humanoid Motion Tracking via One-Step Diffusion Whole-Body Control

링크: 논문 PDF로 바로 열기

참고: 요청하신 제목은 "OneSteer"이지만, 해당 URL(arXiv:2610.41354v1)의 논문 본문은 방법 이름을 DiffWBC로 쓰고 있습니다(제목: DiffWBC: Unlocking Steerable General Humanoid Motion Tracking via One-Step Diffusion Whole-Body Control). 아래 요약은 원문에 맞춰 DiffWBC로 적었습니다. 결과 Table은 모두 이미지가 아닌 HTML 테이블이라 Part 2에서 고를 수 없어서, 본문에서는 수치만 인용했습니다.

저자: Yifei Huang, Yazhao Yang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

  • DiffWBC: 50 Hz로 도는 closed-loop whole-body controller 자체를 one-step diffusion model로 만든 구조입니다. 매 control step마다 proprioception과 reference window를 조건으로 받아, 미래 state와 action으로 된 trajectory plan을 single forward pass로 생성합니다.
  • Test-Time Steering: 모델 weight는 frozen 상태로 두고 원하는 objective를 differentiable cost로 정의합니다. 이 cost(예: SDF 기반 obstacle avoidance, reach hinge loss, torque limit)의 analytic gradient로 generator의 latent input noise를 최적화해서 행동을 실시간으로 바꿉니다.
  • Body-Group Masking / Yielding: reference를 root(9), legs(12), upper body(17)의 세 anatomical group으로 나누고, 각 group에 learned [MASK] embedding을 둡니다. mask된 group은 control authority를 cost objective에 넘기고, mask되지 않은 group은 reference tracking을 계속합니다.
  • Inverse-Dynamics Head: 현재 proprioception과 처음 4개의 predicted state를 입력받아 실제 joint action을 내는 head입니다. steering으로 수정된 plan이 실제 actuation에 그대로 반영되게 합니다.
  • Noise Spread (Self-Assessment): 같은 조건에서 서로 다른 noise sample(K=8)로 만든 plan들의 dispersion입니다. predictive uncertainty를 나타내는 intrinsic proxy로 쓰이며, physics simulation 없이 failure-prone motion을 찾아냅니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문은 기존 general humanoid motion tracker가 deterministic feed-forward policy라서, 배포 후 새로운 제약이나 objective가 생겨도 retraining 없이는 행동을 바꿀 수 없다는 문제를 다룹니다. 낮은 천장 아래로 웅크려 지나가기, 장애물 넘기, 공간 목표 reaching 같은 상황에서 기존 controller는 실시간 behavioral modulation을 하지 못합니다.

저자들이 지적하는 기존 접근법의 한계는 세 가지입니다.

  • Perceptive tracker adaptation(Perceptive BFM, ViBe): obstacle geometry나 objective가 바뀔 때마다 data re-generation과 policy retraining이 필요합니다.
  • Hierarchical planner-tracker pipeline(CLoSD, TextOp, OMG 등): planner-controller mismatch가 생깁니다. kinematic하게 수정된 reference가 actuator limit을 넘거나, tracking lag 때문에 충돌이 일어납니다.
  • Task-conditioned action diffusion(BeyondMimic, Diffuse-CLoC 등): full-body reference horizon이 아니라 semantic prompt나 sparse target만 조건으로 받기 때문에 행동 범위가 좁은 task distribution에 묶입니다.

따라서 general tracking과 generative trajectory modeling을 하나의 high-frequency controller 안에서 통합하는 접근이 필요하다는 것이 저자들의 주장입니다 [Figure 1].

Figure 1: 조향 가능한 tracker

Figure 1 — 조향 가능한 tracker

3. Method & Key Results (제안 방법론 및 핵심 결과)

DiffWBC는 하나의 frozen controller 안에서 다음 세 가지를 함께 수행합니다 [Figure 2].

  • generative general tracking
  • zero-shot test-time steering
  • simulation-free failure discovery

Figure 2: DiffWBC 전체 구조

Figure 2 — DiffWBC 전체 구조

방법론

  • Reference interface: 0.1 s 간격의 미래 10 frame(각 38-dim)을 group별 MLP로 encoding합니다. 이후 FSQ로 2개의 32-dim token으로 discretize합니다. 학습 중에는 group별 masking(p=0.3)과 전체 masking(p=0.1)을 적용합니다.
  • Generator: 4-layer transformer(22.8M parameters)가 H=24개의 prediction token으로 0.96 s horizon의 state와 action을 예측합니다. linear interpolation objective로 학습해 x₀를 직접 회귀하므로, nominal tracking에서는 forward pass 한 번이면 됩니다.
  • Dual training: 두 가지 방식으로 학습할 수 있습니다. 하나는 MimicLite RL teacher로부터 DAgger online distillation을 하는 방식(32 GPU-hours)이고, 다른 하나는 neural world model 기반 model-based RL로 teacher 없이 from-scratch로 학습하는 방식(20 GPU-hours)입니다. 학습 데이터는 78,842개 sequence(약 170 h)입니다.
  • Steering: cost gradient를 정규화한 뒤 channel mask M을 적용해 latent noise를 업데이트합니다. 기본 설정은 2 pass × 2 gradient step이며, gradient는 weight로 전파되지 않습니다. 선택적으로 world model을 이용한 kinodynamic feasibility projection을 적용할 수 있습니다.

주요 결과

  • General tracking:
    • from-scratch DiffWBC는 SONIC, HoloMotion, HEFT, Humanoid-GPT, MimicLite를 포함한 baseline 대비 local error가 가장 낮습니다: AMASS 26.5 mm, BONES 20.1 mm.
    • BONES의 global drift median도 45.5 mm로 가장 낮습니다.
    • distilled 버전은 teacher와 비슷한 수준입니다(AMASS local error 31.4 vs. 29.9 mm).
  • Latency와 real robot:
    • RTX 4090에서 nominal step은 3.8 ms, steering 시에는 20.3 ms입니다.
    • Unitree G1 실機에서 9개 motion을 각 3회씩 실행해 100% 성공했습니다 [Figure 3].
  • Steering vs. kinematic reference editing:
    • 1.25 m ceiling clean pass: 0.84 vs. 0.10(closed-loop edit)
    • 1.20 m ceiling clean pass: 0.52 vs. 0.02
    • Hurdle feasible pass: 0.68 vs. 0.57
    • Reach hit rate: 0.75 vs. 0.60이며, latency는 20.3–55.1 ms vs. 330.5 ms입니다.
    • gradient 없이 8개 sample 중 best를 고르는 방식은 unsteered 수준(0.38)에 그쳤습니다. 저자들은 이를 근거로 성능 향상이 stochastic sampling이 아니라 analytic gradient에서 나온다고 봅니다.
  • Zero-shot multi-objective adaptation:
    • 다리 joint(knee) torque를 15%로 제한한 actuator fault 조건에서 survival이 0.71 → 0.79로 올랐습니다.
    • tray balancing에서 ball loss가 0.17 → 0.08로 줄었습니다.
    • velocity tracking error가 0.159 → 0.112 m/s로 줄었습니다.
    • upper body를 mask하면 reach hit rate가 0.54 → 0.67로 올랐습니다.
  • Failure discovery:
    • 7,884개 sequence를 scan한 결과, noise spread 상위 2%의 91%가 실제 failure였습니다(AUC 0.83).
    • 이렇게 찾은 329개 clip으로 fine-tuning하자 baseline failure의 50%가 해결되었고, 이미 잘하던 clip의 degradation은 1.9%였습니다.
    • 전체 corpus scan에는 1.5 worker-hours가 걸렸습니다(simulation 기반은 17–84 worker-hours).

Figure 3: Unitree G1 실증

Figure 3 — Unitree G1 실증

4. Conclusion & Impact (결론 및 시사점)

DiffWBC는 저자들이 아는 한 general humanoid tracking을 수행하는 최초의 one-step diffusion whole-body controller입니다. single pass로 SOTA 수준의 tracking fidelity를 보이면서 frozen weight 상태로 zero-shot steering을 지원합니다. controller 내부에서 plan을 수정하기 때문에 hierarchical pipeline의 planner-controller mismatch를 구조적으로 피하고, 그 결과 kinematic reference editing보다 constraint satisfaction이 크게 좋았습니다. 또 generation noise의 dispersion을 fragility metric으로 활용해 simulation 없이 controller를 hardening하는 pipeline도 제시했습니다.

산업적으로는 하나의 범용 controller를 retraining 없이 cost 설계만으로 여러 task(장애물 회피, actuator fault 대응, payload 운반 등)에 적용할 수 있다는 점이 중요합니다.

저자들이 밝힌 한계는 다음과 같습니다.

  • distilled model은 near-static pose에서 teacher의 global drift를 물려받습니다.
  • contact force가 필요한 task에는 wrench modeling이 필요합니다.
  • multi-step steering은 50 Hz control period(20 ms)를 넘습니다(최대 55.1 ms).

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글