[논문리뷰] BDH-CQ: In-Context Learning with Recurrent Latent Reasoning

링크: 논문 PDF로 바로 열기

메타데이터

저자: Björn Engdahl, Adrian Kosowski, Jan Chorowski, Zuzanna Stamirowska, Przemysław Uznański, Junlin Jiang, Rohan Phadke, Remigiusz Kinas, Richard Zhong

1. Key Terms & Definitions (핵심 용어 및 정의)

• BDH-CQ: Recurrent memory와 latent workspace 내의 반복적 추론을 결합하여, 중간 언어 생성 없이 시각적 변환을 학습하고 적용하는 새로운 추론 시스템입니다.
• Latent Reasoning: 중간 단계를 자연어로 verbalization하지 않고, 고차원 latent space 내에서 반복적인 상태 변환을 통해 문제를 해결하는 계산 방식입니다.
• ARC-AGI-1: 시스템의 skill-acquisition efficiency를 평가하기 위해 고안된 벤치마크로, 적은 수의 시각적 데모를 통해 새로운 규칙을 추론해야 하는 과제 집합입니다.
• Pass@2: 시스템이 최대 두 개의 후보를 생성하여 그중 하나라도 정답을 맞힐 경우 성공으로 간주하는 평가 지표입니다.
• Demonstration-conditioned operator schema: 데모를 통해 모델이 특정 작업을 수행하기 위한 시각적 연산 규칙을 내재화하는 동작 방식을 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 In-context learning과 latent reasoning을 결합하여 추론의 효율성과 성능을 극대화하는 것을 목표로 합니다. 기존 Chain-of-Thought (CoT) 모델들은 중간 추론 과정을 토큰으로 시리얼화하여 출력하므로, 과도한 토큰 소비, latency 증가, inference 비용 상승의 문제를 겪고 있습니다 [Figure 1]. 또한, 기존의 compact recursive solvers는 특정 태스크에 대한 사후 최적화나 태스크별 식별자에 의존하여, 데모로부터 새로운 변환 규칙을 실시간으로 획득하는 범용적인 In-context learning 능력이 부족하다는 한계가 있습니다. 이를 해결하기 위해 저자들은 별도의 파라미터 업데이트 없이 데모를 통해 recurrent memory를 업데이트하고, latent space에서 추론을 수행하는 BDH-CQ를 제안합니다.

Figure 1 — ARC 태스크의 시각적 데모 구조

3. Method & Key Results (제안 방법론 및 핵심 결과)

BDH-CQ는 데모 시퀀스 $D$를 순차적으로 입력받아 recurrent memory $S_t$를 업데이트하며, 이후 $S_K$를 바탕으로 latent workspace $H_r$ 내에서 반복적인 계산을 수행하여 최종 출력 $y$를 도출합니다 [Equation 1-4]. 본 모델은 150M-parameter 규모로 설계되었으며, ARC-AGI-1 평가에서 29.5% pass@2라는 성능을 기록하였습니다 [Figure 2]. 특히, 태스크당 $0.00070이라는 매우 낮은 inference 비용을 달성하여 기존 모델들의 비용-정확도 Pareto frontier를 돌파하였습니다. 또한, ConceptARC를 통해 모델의 개념적 이해력을 분석한 결과, propagation 및 copying과 같은 연산은 높은 일반화 성능을 보였으나, 복잡한 nesting이나 ordering 과제에서는 지원(support) 데모의 유무가 성패를 결정짓는 핵심 요소임이 확인되었습니다 [Table 2, Table 3].

Figure 2 — 비용 대비 ARC-AGI-1 성능 비교

4. Conclusion & Impact (결론 및 시사점)

본 연구는 고효율의 recurrent latent reasoning 구조가 In-context learning과 결합될 때 비약적인 비용 효율성과 추론 성능을 보일 수 있음을 입증하였습니다. BDH-CQ는 시각적 변환 규칙을 효율적으로 학습하고 적용하는 새로운 표준을 제시하며, 향후 모델 스케일링과 다양한 영역으로의 확장이 용이한 아키텍처적 기반을 제공합니다. 이번 결과는 대규모 언어 모델 중심의 추론 방식에서 벗어나, 더 경제적이고 구조화된 지능형 시스템 구축으로 나아가는 중요한 시사점을 제공합니다.

Figure 5 — 범위별 일반화 성능 곡선

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.