[논문리뷰] Latent Reasoning in Continuous Space for Unified Multimodal Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• LARC (Latent Reasoning in Continuous space): 추론 과정을 별도의 discrete token이 아닌, 이미지 생성과 동일한 continuous latent space 상의 hidden state를 통해 수행하는 프레임워크입니다.
• UMM (Unified Multimodal Models): 이미지 생성 모듈과 강력한 언어 의미론을 가진 LLM을 단일 아키텍처로 통합하여 멀티모달 이해와 생성을 모두 수행하는 모델입니다.
• Information-Gain Reward: RL 단계에서 reasoning trace가 타겟 이미지의 예측 가능성을 얼마나 높이는지를 conditional mutual information의 근사치를 통해 정량화한 보상 체계입니다.
• Curriculum Supervised Fine-Tuning (SFT): 모델이 점진적으로 token-level 추론에서 continuous latent 추론으로 전환하도록 유도하여 초기 학습 안정성을 확보하는 방법론입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 UMM들이 언어 기반 Chain-of-Thought(CoT) 추론을 효과적으로 활용하지 못하며, 이로 인해 LLM에서 관찰되는 Test-time Scaling 현상이 나타나지 않는 문제를 해결하고자 합니다. 저자들은 이러한 한계의 근본 원인을 추론은 discrete token space에서, 이미지 생성은 continuous latent space에서 이루어지는 'modality mismatch'로 정의합니다. 기존의 discrete 추론은 이미지 생성이 요구하는 조밀하고 공간적으로 정렬된 정보를 인코딩하기에 부적합합니다 [Figure 1]. 따라서 저자들은 추론 자체를 이미지 생성과 동일한 continuous space에서 수행하는 새로운 접근 방식이 필수적이라고 주장합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 추론을 continuous space로 이동시키기 위해 LARC 프레임워크를 제안합니다 [Figure 2]. LARC의 학습은 두 단계로 구성되는데, Stage 1에서는 curriculum SFT를 통해 token-level 추론을 latent 추론으로 점진적으로 대체하고, Stage 2에서는 외부 평가자(critic) 없이 Information-Gain Reward와 다양성 보존을 위한 Collapse-prevention Reward를 사용하여 자기 진화적 RL을 수행합니다. 실험 결과, LARC는 BAGEL 대비 GenEval 벤치마크에서 7%p 향상된 성능을 기록하며 SOTA를 달성했습니다 [Table 1]. 또한, DPG-Bench와 OneIG-Bench에서 각각 +5.8%, +10.2%p의 성능 향상을 보이며 우수한 prompt-following fidelity를 입증했습니다 [Table 2, Table 3]. 특히, LARC는 latent reasoning budget이 증가함에 따라 이미지 생성 및 편집 작업에서 성능이 단조롭게 증가하는 Test-time Scaling 동작을 최초로 구현했습니다 [Figure 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 추론을 continuous space로 통합함으로써 UMM의 modality gap을 성공적으로 해결하고 Test-time Scaling을 실현했습니다. 제안된 LARC는 별도의 ground-truth chain이나 외부 critic 없이도 자기 진화적 학습이 가능하다는 점에서 효율적인 확장성을 보여줍니다. 이 연구는 멀티모달 모델이 언어 모델과 같이 추론 컴퓨팅 자원을 활용하여 성능을 확장할 수 있는 길을 열었으며, 향후 고도의 공간적 추론이 필요한 복잡한 시각적 생성 과제에서 모델의 제어 가능성을 극대화하는 기반이 될 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — Test-time scaling 동작 비교

Figure 2 — LARC 전체 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.