[논문리뷰] Neural Computers

2026년 4월 8일수정: 2026년 4월 8일

링크: 논문 PDF로 바로 열기

메타데이터

저자: Mingchen Zhuge, Changsheng Zhao, Haozhe Liu, Zijian Zhou, Shuming Liu, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

NC (Neural Computer) : 계산, 메모리, 입출력을 학습된 Latent Runtime State 내에서 통합하여 수행하는 새로운 형태의 머신.
CNC (Completely Neural Computer) : Turing completeness, Universally programmable, Behavior-consistent, Machine-native semantics를 충족하는 NC의 성숙한 일반 목적 realization.
CLIGen / NCGUIWorld : 본 논문에서 제안하는 각각 명령줄 인터페이스(CLI)와 그래픽 사용자 인터페이스(GUI) 환경에서의 NC 프로토타입 모델.
Action Injection : GUI 환경에서 사용자의 마우스/키보드 동작을 Latent 공간에 주입하여 프레임 생성을 제어하는 기법(external, contextual, residual, internal).
Latent Runtime State (ht) : NC가 계산을 수행하고 정보를 저장하며 입출력을 매핑하는 모델의 핵심적인 내부 상태.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 기존의 컴퓨터 구조와 분리된 AI 에이전트나 월드 모델을 넘어, 모델 자체가 실행 환경으로서 컴퓨터 역할을 수행하는 Neural Computer 의 타당성을 입증하고자 한다. 현재의 컴퓨터 시스템은 계산, 메모리, 입출력이 분리된 전통적인 소프트웨어 스택에 의존하며, AI 에이전트조차 외부 실행 환경을 매개로 동작하는 한계를 가진다. 저자들은 이러한 분리된 아키텍처를 하나로 통합하는 것이 차세대 컴퓨팅의 새로운 지평이 될 수 있다고 제안한다. 기존 연구들은 환경 역학 학습이나 에이전트 제어에 집중했으나, 모델 내부에 독자적인 runtime state를 갖추고 이를 통해 컴퓨터의 핵심 기능을 직접 수행하는 방식은 미개척 분야로 남아 있다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 최신 비디오 생성 모델인 Wan2.1 을 기반으로 인터페이스별 특화된 데이터 엔진과 학습 레시피를 적용하여 CLI와 GUI 환경에서의 NC 프로토타입을 구축하였다. 모델은 주어진 입력을 통해 latent state를 업데이트하고 다음 프레임을 생성하는 update-and-render 루프를 수행한다. 특히 GUI 환경에서는 마우스 및 키보드 동작을 인코딩하여 모델 내부의 Latent Runtime State 에 주입하는 네 가지 기법(external, contextual, residual, internal)을 비교하였다. 실험 결과, 1,400시간의 방대한 무작위 데이터보다 110시간의 고품질 데이터(Claude CUA)를 사용했을 때 FVD 와 SSIM 지표가 현저히 향상됨을 확인하였다. 특히 GUI 인터페이스에서 Internal conditioning 기법이 다른 방식에 비해 더 낮은 FVD(14.5) 와 높은 SSIM(0.863) 을 보이며 post-action 응답성 및 일관성 면에서 탁월한 성능을 기록하였다. 또한, SVG mask/reference 기반의 커서 supervision을 통해 커서 제어 정확도를 98.7% 까지 달성하며 로컬 GUI 제어 원시 기능이 학습 가능함을 증명하였다.

## 4. Conclusion & Impact (결론 및 시사점) Neural Computer는 단일 Latent Runtime State가 운영체제와 인터페이스의 역할을 대체하는 새로운 컴퓨팅 패러다임을 지향한다. 비록 현재의 프로토타입은 I/O 정렬과 단기 제어에 머물러 있으나, 장기적으로는 범용성을 갖춘 CNC 로의 진화를 위한 기틀을 마련하였다. 본 연구는 차세대 컴퓨팅 아키텍처가 단순한 프로그램 실행을 넘어, 학습된 신경망 구조가 연산, 저장, governance를 내재화하는 방향으로 발전할 것임을 시사한다. 이는 시스템 설계의 패러다임을 코드 중심에서 미분 가능한 신경망 구성 중심으로 전환할 잠재력을 가진다.