[논문리뷰] JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents

링크: 논문 PDF로 바로 열기

저자: Yunlong Lin, Zixu Lin, Zhaohu Xing, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Canvas-Native: 텍스트 위주의 대화형 인터페이스를 넘어, 시각적인 캔버스를 프로젝트의 공유 메모리이자 작업 공간으로 사용하는 설계 방식입니다.
• Project State: 생성 AI 작업 과정에서 발생하는 참조 자료, 드래프트, 수정 이력, 사용자 피드백 등을 포함하는 구조화된 데이터를 의미합니다.
• Protocol Bridge: Agent가 캔버스의 상태를 읽거나 수정할 때, 권한과 유효성을 검증하고 변경 사항을 기록하는 중간 매개체입니다.
• Agent Runtime: 모델이 사용자 요청을 해석하고, 캔버스 내에서 필요한 툴(Tool)을 호출하여 작업을 실행하며 상태를 업데이트하는 핵심 구동 엔진입니다.
• Trajectory: Agent의 작업 과정에서 발생하는 요청, 캔버스 상태, 실행 액션, 피드백, 그리고 결과의 순차적인 기록을 의미하며, 연구 및 재학습을 위한 핵심 데이터가 됩니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 Creative AI 시스템이 고립된 단일 단계 생성에 머물러 있어, 복잡한 다단계 창작 작업에서 필요한 맥락(Context)을 유지하지 못하는 문제를 해결하고자 합니다. 대다수의 생성 도구는 생성 결과만 반환하고 중간의 실패 사례나 수정 이력을 삭제하므로, 긴 호흡의(Long-horizon) 창작 작업에서 일관성을 유지하거나 피드백을 반영하는 데 한계가 있습니다 [Figure 1]. 이러한 폐쇄적인 아키텍처는 Agent가 창작 프로젝트의 상태를 어떻게 관리하고 오류를 복구하는지 연구하기 어렵게 만듭니다. 저자들은 따라서 창작 과정을 투명하게 관리하고, Agent와 사용자가 공유할 수 있는 오픈 하네스(Open Harness) 형태의 프레임워크가 필요하다고 주장합니다.

Figure 1 — 기존 시스템과 JarvisHub 비교

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 캔버스를 창작 프로젝트의 핵심 작업 공간으로 정의하고 이를 관리하는 3단계 아키텍처를 갖춘 JarvisHub를 제안합니다 [Figure 2]. 제안된 JarvisHub는 Canvas State Layer(프로젝트 데이터 저장), Protocol Bridge(액션 검증 및 기록), Agent Runtime(실제 작업 실행 및 조율)으로 구성됩니다 [Figure 3]. Agent Runtime은 사용자의 요청을 수신하면 캔버스를 관찰하고, 허가된 범위 내에서 Canvas tools, Generation tools, Recovery tools 등을 호출하여 프로젝트 상태를 점진적으로 발전시킵니다. 실험 결과, JarvisHub는 narrative media generation, interactive web development, presentation deck generation과 같은 복잡한 창작 작업에서 일관된 프로젝트 상태를 유지하며 성공적으로 작업을 수행함을 입증했습니다 [Table 3]. 또한, 모든 작업 과정이 Trajectory로 기록되므로, 향후 창작 Agent의 행동 분석 및 성능 개선을 위한 정량적·정성적 데이터로 활용될 수 있음을 보여주었습니다 [Figure 4, 6, 8].

Figure 2 — JarvisHub 전체 아키텍처

Figure 3 — Agent Runtime 루프

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 캔버스 기반의 Agent 아키텍처를 도입하여 창작 과정의 가시성과 재사용성을 극대화한 JarvisHub를 성공적으로 구현하였습니다. 이 프레임워크는 단순히 고품질의 에셋을 생성하는 것을 넘어, 긴 호흡의 창작 워크플로우를 Agent가 주도적으로 계획하고 수정하며 관리할 수 있는 토대를 마련했습니다. 이러한 접근은 향후 학계와 산업계에서 복잡한 멀티모달 창작 시스템을 설계하는 데 있어 표준적인 연구 하네스로 기능할 것으로 기대됩니다. 또한, 창작 프로젝트에서 Agent의 의사결정 과정을 상세하게 추적할 수 있게 함으로써, 더욱 정교하고 신뢰성 높은 Creative AI 개발을 가속화할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.