[논문리뷰] CoworkOS:Scaling Agent Coworkers for Real-world Automation

링크: 논문 PDF로 바로 열기

---

Part 1: 요약 본문

저자: Jiajie Jin, Guanting Dong, Chengjun Pan, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Harness: 모델의 추론을 실제 행동으로 전환하기 위한 런타임 메커니즘을 제공하는 시스템으로, Tool orchestration, State and context management, Execution feedback 등을 포함한다.
• CoworkOS: 복잡한 생산성 태스크와 장기적인 모니터링 및 의사결정을 모두 지원하며 Human-in-the-loop 협업이 가능한 일반 목적의 에이전트 Harness이다.
• Main Agent: 시스템의 User-facing interface이자 전반적인 Task plan, 관리, 실행을 담당하며, 필요에 따라 Subagents를 호출한다.
• Subagents: Main Agent로부터 위임된 특정 범위의 Assignment를 처리하며, 독립적인 Working context를 유지한다.
• Coordinator Runtime: Main Agent와 Subagents 간의 정보 교환을 관리하고, Delegation, Execution state, Pending feedback 등을 지속적으로 유지하는 Control-plane boundary이다.
• Recursive Self-Improvement (RSI): AI 시스템이 자체 Capabilities와 Improvement mechanisms을 능동적으로 최적화하여 지속적으로 발전하는 메커니즘이다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Cowork agent가 복잡한 생산성 태스크와 장기적인 모니터링 및 의사결정을 동시에 처리하면서 Human-in-the-loop 방식으로 협업하는 데 따르는 미해결 과제를 해결하고자 한다. 기존 Agent 시스템은 Workflow 중심의 Reasoning 및 Tool-using trajectory, 그리고 Persistent individual needs를 지원하는 Agent Assistant 단계를 거쳐 발전해왔으나, Human과 Agent가 함께 Artifact를 진화시키고 복잡한 생산성 태스크에서 Initiative를 공유하는 Agent Cowork 환경에서는 두 가지 상호 보완적인 요구사항이 발생한다 [cite: 1, Figure 2(a)]. 첫째, 소프트웨어, 문서, 디자인 등의 Artifact를 생성하기 위한 복잡한 생산성 태스크는 고도의 Reasoning, Tool use, Verification을 요구하며, 필요에 따라 협업 Agent 간의 Collective intelligence를 필요로 한다. 둘째, 훈련 프로세스 모니터링이나 프로젝트 진행 상황 추적 등 장기적인 모니터링 및 의사결정은 Agent가 Context를 장기간 유지하고, 건전한 Memory를 관리하며, Artifact를 지속적으로 추적해야 하는 과제를 제시한다. 이러한 기존 연구의 한계점들을 극복하고, 단일 Cowork agent가 이 두 가지 요구사항을 모두 충족시키면서 Human-in-the-loop 협업을 효과적으로 지원할 수 있는 새로운 접근 방식이 필요하다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 복잡한 생산성 태스크와 장기적인 모니터링 및 의사결정을 모두 지원하는 CoworkOS라는 일반 목적의 Agent harness를 제안한다. CoworkOS의 핵심 방법론은 Task strategy와 Execution management를 분리하는 것으로, 모델은 행동, 위임, 수락을 결정하고 런타임은 State와 Feedback을 관리한다. 이는 Main Agent, Coordinator Runtime, 그리고 선택적 Subagents로 구성된 3계층 아키텍처를 통해 구현된다 [cite: 1, Figure 3]. Main Agent는 전반적인 Task plan과 실행 방향을 설정하고, Subagents는 위임된 Assignment를 독립적으로 수행하며, Coordinator Runtime은 이들 간의 Communication과 Coordination을 담당한다. 또한, CoworkOS는 Human-in-the-loop Scalable Application Ecosystem을 구축하여, 사람과 Agent가 동일한 Evolving artifacts를 검사하고 수정할 수 있도록 한다 [cite: 1, Figure 4]. 이를 위해 CLI execution, Search, File operations, MCP interfaces 등의 기본 Tool capabilities와 문서 편집기, PPTist, CAD, Blender와 같은 전문 Application에 대한 확장 가능한 접근을 제공한다. Workspace와 Artifact management, Persistent execution을 위한 Checkpointing and recovery, Hierarchical workspaces, Persistent semantic memory를 통해 Agent와 Session 간의 Continuity를 보장하며, Long-running Job logs를 공유하고 재사용할 수 있도록 한다.

실험 결과, CoworkOS는 12개의 Benchmark 및 6개 카테고리의 Real-world application 시나리오에서 평가되었으며, OpenHands, Codex, DeepSeek Harness(DSH)와 같은 기존 선두 Agent framework 대비 경쟁력 있는 성능을 입증했다 [cite: 1, Table 1]. 특히, Productivity Domain Average에서 57.54점으로 DSH의 56.13점을 앞섰으며, ML Coding Domain Average에서도 56.26점으로 DSH의 56.14점을 근소하게 앞서며 최고 성능을 달성했다. CoworkOS는 SkillsBench에서 64.34점, JobBench에서 59.88점, WideSearch에서 82.47점, MLE-Bench-Lite에서 76.90점, MLS-Bench에서 35.62점으로 각 Benchmark에서 1위를 차지했다 [cite: 1, Table 1]. 또한, Recursive Self-Improvement (RSI) 기반의 Automated Post-Training Case study에서, CoworkOS는 GLM-5.3을 백본으로 사용하여 Qwen3.6-35B-A3B 모델에 대한 5회의 개선 라운드를 수행했다. 그 결과, 8개 Benchmark에 대한 모델의 평균 점수가 초기 33.19점에서 42.95점으로 9.76점 향상되었다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 장기적인 Human-Agent 협업을 위한 CoworkOS라는 Agent harness를 성공적으로 제시했다. CoworkOS는 Task strategy와 Execution management를 분리하고, 계층적 Agent 아키텍처, Shared application resources, Persistent workspaces, Semantic memory, 그리고 Long-running Jobs 관리 메커니즘을 통해 복잡한 생산성 작업과 지속적인 모니터링을 효율적으로 지원한다. 이 연구는 12개 Benchmark와 6개 Real-world application 카테고리에서 기존의 선두 Agent framework와 비교하여 경쟁력 있는 성능을 보여주었으며, RSI 기반의 Automated post-training 연구를 통해 Qwen3.6-35B-A3B 모델의 평균 점수를 9.76점 향상시키는 구체적인 성과를 달성했다. 이러한 결과는 CoworkOS가 복잡한 생산성 작업, 지속적인 모니터링, 반복적인 모델 개선을 위한 통합된 Harness로서 강력한 잠재력을 가지고 있음을 시사한다. 향후 CoworkOS는 General cowork-agent intelligence를 향한 중요한 경로를 열어 해당 분야의 학계 및 산업계 연구에 큰 영향을 미칠 것으로 기대된다.

Figure 2 — CoworkOS 개요

Figure 3 — CoworkOS Harness 구조

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.