[논문리뷰] ToM2Vec: Continuous Theory-of-Mind Tokens for Multi-Agent Coordination

링크: 논문 PDF로 바로 열기

메타데이터

저자: Nithin Sivakumaran, Ali Payani, Hyunji Lee, Mohit Bansal, Elias Stengel-Eskin

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• ToM (Theory of Mind): 다른 에이전트의 관찰되지 않은 의도, 신념, 목표를 추론하여 협업 및 경쟁 상황에서 조율하는 능력을 지칭합니다.
• Continuous Latent ToM Tokens: 모델의 latent space 내에서 생성되는 연속적인 벡터로, 다른 에이전트의 사고 과정을 추상화하여 표현하는 고정된 budget의 토큰입니다.
• Self-Play: 본 논문에서 에이전트가 파트너 에이전트와의 상호작용 데이터를 스스로 생성하고, 이를 통해 파트너의 의도를 latent space에서 예측하도록 학습하는 기법입니다.
• Decentralized POMDP: 에이전트들이 부분적인 관측 정보만을 가지고 행동을 결정해야 하는 다중 에이전트 환경을 정의하는 프레임워크입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM 기반 에이전트가 협력 및 경쟁 상황에서 파트너의 상태를 정확히 추론하지 못하는 한계를 해결하기 위해 ToM2Vec을 제안합니다. 기존의 언어 기반 접근법(Language ToM)은 파트너의 의도를 텍스트로 명시적으로 기술하려 함으로써 단 하나의 추론 경로에 고착되는 문제를 가집니다 [Figure 1]. 이러한 자연어 기반 표현은 다중 가능성을 포함해야 하는 파트너 모델링의 추상화 과정에서 비효율적이며, 종종 부정확한 예측을 초래합니다. 결과적으로 모델들은 파트너의 숨겨진 의도나 변화하는 목표를 유연하게 반영하지 못하는 한계를 보입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 파트너의 사고 과정을 연속적인 latent space 내에서 요약하는 ToM2Vec 프레임워크를 도입합니다. 학습 과정에서 에이전트는 파트너의 실제 사고 과정을 sentence 단위로 분할하여 latent 토큰으로 추출하고, cosine similarity loss를 통해 자신의 latent 예측값을 파트너의 것과 일치시키도록 학습합니다 [Figure 2]. 추론 단계에서는 파트너의 정보가 부재하더라도, 에이전트가 스스로 K=10개의 latent ToM 토큰을 생성하여 이를 컨텍스트의 일부로 활용함으로써 더욱 고도화된 의사결정을 수행합니다. 실험 결과, Overcooked-AI 환경에서 ToM2Vec은 base 모델 대비 평균 점수를 12.0점 향상시키며 다양한 Baselines를 압도했습니다 [Table 1]. 또한, Negotiation 태스크에서 deal 성공률을 62.0%에서 71.0%로 크게 개선했으며, 학습 시 보지 못한 GPT-5.4와 같은 강력한 타 모델 패밀리와의 협업에서도 우수한 범용성을 입증했습니다 [Table 2]. 이는 latent 기반의 추론 토큰이 단순한 작업 수행을 넘어 파트너의 믿음과 의도를 진정으로 포착하고 있음을 시사합니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 연속적인 latent 토큰을 통해 다중 에이전트 간의 정교한 Theory of Mind를 형성하는 새로운 패러다임을 확립했습니다. 기존의 언어적 추론 방식을 탈피하여 latent space에서의 직접적인 표현이 훨씬 더 효과적인 파트너 모델링을 가능하게 함을 입증했습니다. 이 연구는 복잡한 상호작용 환경에서 에이전트의 유연성과 협동 능력을 극대화할 수 있는 토대를 마련하였으며, 향후 다양한 도메인에서 에이전트 시스템을 설계하는 데 중요한 방법론적 기준을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.