[논문리뷰] CausalWAM: Learning the Causes of Actions in World Action Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Juntao Cheng, Jinzhou Tang, Fan Feng, Henrik I. Christensen, Yujia Zheng

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• World Action Models (WAMs): 관찰된 영상 데이터에서 latent variables를 추출하여 미래의 장면을 예측하고 로봇의 action을 생성하도록 설계된 모델.
• Action-relevant Latent Variables: 전체 장면 중 로봇의 실제 움직임(action)에 인과적으로 기여하는 핵심 latent variables.
• Nuisance Variables: 환경의 배경 요소(예: 테이블보, 주변 물체)와 같이 영상 예측에는 필요하지만, 로봇의 특정 action과는 무관한 latent variables.
• Support Sparsity: latent variables와 action 간의 종속 구조에 제약을 가하여, 모델이 불필요한 인과 관계를 학습하지 않고 오직 action의 원인이 되는 변수들만 활성화하도록 강제하는 기법.
• CWAM (Causal WAM): 기존 WAM 모델에 Support Sparsity 제약을 추가하여 인과적 관련성이 높은 정보만을 선별적으로 action head로 전달하는 모델.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 WAM이 관측 데이터만으로 학습할 때, action에 기여하는 인과적 latent variables와 환경의 단순 배경을 나타내는 nuisance variables를 혼동하는 문제를 해결하고자 한다. 기존의 Baseline 모델들은 전체 장면을 재구성하기 위해 모든 latent 정보를 사용하므로, action 생성 과정에서 인과관계가 없는 nuisance variables가 개입되어 모델의 인과적 정밀도가 저하되는 한계가 있다. 저자들은 이러한 혼동을 방지하기 위해 관측 데이터만으로도 인과적 핵심 변수를 식별할 수 있는 이론적 근거를 마련하고자 한다. 이를 위해 본 연구는 action 생성 시 Support Sparsity 제약을 도입하여 action-relevant latent variables와 nuisance variables를 구조적으로 분리하는 것을 목표로 한다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Support Sparsity 제약을 통해 latent variables와 action 간의 종속성을 제한하면, action-relevant latent variables가 가역적인 함수 관계로서 식별 가능함(Identifiable)을 수학적으로 증명한다. 구체적으로 저자들은 CWAM을 제안하며, 이는 기존 Cosmos 3 backbone의 action head에 sparse routing path를 추가하여, 인과적으로 유의미한 상위 $k$개의 context token만을 선택적으로 활용한다. 해당 모델은 rectified-flow objective를 유지하면서, router에 추가된 sparse penalty($\mathcal{L}_{\mathrm{sparse}}$)를 통해 action head가 최소한의 인과적 경로에만 집중하도록 유도한다 [Figure 1]. 실험 결과, CWAM은 RoboCasa365, LIBERO, 실제 Franka R3 로봇 실험에서 기존 모델 대비 closed-loop success율을 유의미하게 향상시켰다 [Figure 2]. 특히, 라우팅된 토큰들만 사용한 경우에도 전체 문맥을 사용한 경우와 유사한 수준의 success rate를 유지하여 인과적 정보의 압축 및 추출 능력을 입증하였다 [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 관측 데이터만으로 action의 인과적 원인을 학습하는 효과적인 프레임워크인 CWAM을 제안하며, 특정 환경에서의 인과적 식별 가능성을 이론적으로 확립하였다. Support Sparsity 제약을 통해 nuisance variables의 개입을 차단함으로써, 로봇은 훨씬 더 효율적이고 정밀한 인과적 행동을 수행할 수 있게 되었다. 이 연구는 복잡한 현실 세계의 로봇 학습 환경에서 인과적 표현 학습(Causal Representation Learning)의 가능성을 제시하며, 향후 로봇의 일반화 성능 향상 및 의사결정 투명성 제고에 중요한 기술적 토대를 제공할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.