[논문리뷰] Pack Light, CarryOn: Building Object-Oriented Context for Long-Horizon Agents

링크: 논문 PDF로 바로 열기

저자: Yuchen Lu, Julian McAuley, Lei Zhang

Part 1: 요약 본문

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문에서 제안하는 CarryOn 프레임워크와 관련된 핵심 용어들은 다음과 같습니다:

• CarryOn: 장기적인(long-horizon) 에이전트의 Context를 재사용 가능한 task object 중심으로 구성하는 object-oriented Context runtime.
• Continuation Carriers: 재사용 가능한 content나 object reference를 사용 조건(conditions for reuse)과 함께 바인딩하여 다음 실행에 노출시키는 컴포넌트입니다. 여기에는 External Objects, Information Products, Situated State 세 가지 형태가 포함됩니다.
• Execution Context: Continuation Carrier에 의해 캡처되지 않는 현재 목표(current focus), 미해결 제약(unresolved constraints), 보류 중인 작업(pending work) 등 실행에 필요한 보완 정보를 보존하는 컴포넌트입니다.
• Live Tail: 가장 최근의 성공적인 fold 이후 축적된 원래의 agent–environment interaction들을 유지하는 컴포넌트입니다.
• Fold: CarryOn이 누적된 interaction history를 유지되는 Context view로 통합하는 주기적인 프로세스로, 재사용 가능한 progress를 식별하고 이를 supporting evidence와 연결하며, continuation에 여전히 필요한 정보를 보존합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Long-horizon 에이전트의 핵심 문제는 persistent task state에 progress를 누적하면서도 해당 progress가 어떻게 달성되었는지를 설명하는 interaction history를 반복적으로 처리한다는 점입니다. Figure 1에서 볼 수 있듯이, 이미 완료된 작업(예: 프레젠테이션에 이미지 삽입, 보고서에 측정값 입력)은 task state에 progress로 캡처되지만, 에이전트는 이러한 결과를 생성한 과정에 대한 account를 반복적으로 처리하게 됩니다. 기존 연구들은 기록(history)을 요약(summarizing), 검색(retrieving) 또는 가지치기(pruning)하여 context 성장을 관리하거나, 명시적인 progress record 및 structured task state로 변환하여 redundancy를 줄이려고 시도했습니다. 그러나 이러한 접근 방식들은 재사용 가능한 task result를 대체할 때, 에이전트가 직접 검사하고 수정하는 state와는 동떨어질 수 있는 redundant하고 선택적인 account에 continuation이 의존하게 만드는 한계가 있습니다. 저자들은 이러한 기존 방식의 한계를 극복하기 위해, 재구성된 progress account에 의존하는 대신 재사용 가능한 task object를 중심으로 long-horizon context를 구성하는 object-oriented view를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 재사용 가능한 task object를 중심으로 long-horizon 에이전트의 Context를 조직하는 CarryOn Context runtime을 제안합니다. CarryOn 프레임워크는 Figure 2에 설명된 바와 같이, Continuation Carriers, Execution Context, 그리고 Live Tail이라는 세 가지 보완적인 컴포넌트로 에이전트의 Context를 구성합니다. Tracker는 재사용 가능한 progress candidate를 식별하고, Grounder는 supporting evidence와 관련 환경 체크를 수행하며, Compiler는 continuation carriers와 execution context를 공동으로 업데이트합니다. 유효성 검사 후, 이러한 업데이트는 fold를 통해 반영되어 기존 interaction history를 새로운 object-oriented Context view로 대체하며, 이후의 interaction들은 새로운 live tail을 형성합니다. 특히, CarryOn은 기존 기록이 만료된 후에도 재사용 가능한 basis의 유효성을 유지하기 위해 carrier record를 fold 전반에 걸쳐 유지하며, 영향받는 기록은 바인딩된 evidence 및 해당 환경 체크에 따라 수정하고, 영향받지 않는 기록은 그대로 유지하면서 execution context를 공동으로 업데이트합니다.

실험 결과, CarryOn은 long-horizon 컴퓨터 사용 시나리오인 OSWorld 2.0에서 Claude Opus 4.7의 partial score를 43.9%에서 49.7%로 5.8% 향상시키고, binary score를 15.7%에서 19.4%로 3.7% 향상시켰습니다. 동시에 총 토큰 사용량을 51.9% 감소시키고, 태스크당 비용을 35.9% 절감했습니다. BrowseComp-Plus 벤치마크에서는 정확도를 49.0%에서 56.0%로 7.0% 향상시키며, 총 토큰 사용량을 22.9% 감소시키고, 태스크당 비용을 7.1% 절감하는 성과를 보였습니다. Figure 3에서 볼 수 있듯이, CarryOn은 에이전트 턴(agent turns)이 증가함에 따라 baseline이 200K 토큰 이상으로 context size가 계속 증가하는 반면, 평균 input context size를 약 65K 토큰 수준으로 안정화시키며, 누적 비용을 500턴 시점에 34.1% 감소시켰습니다. 이러한 결과는 CarryOn이 long-horizon 에이전트의 task performance를 개선하면서 Context 처리 오버헤드를 크게 줄일 수 있음을 보여줍니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 재사용 가능한 task object를 중심으로 long-horizon 에이전트의 context를 구성하는 CarryOn Context runtime을 성공적으로 제시합니다. 이 방법론은 재사용 가능한 progress를 노출하는 continuation carriers, 보완적인 목표, 제약 및 미해결 문제를 보존하는 execution context, 그리고 최근 상호작용의 live tail을 통합합니다. CarryOn은 task 진행에 따라 continuation carriers와 execution context를 공동으로 업데이트하여 변화하는 task state와 남은 요구사항을 반영하며, covered interaction history를 업데이트된 context view로 점진적으로 대체합니다. 실험을 통해 CarryOn은 OSWorld 2.0에서 partial score를 43.9%에서 49.7%로 향상시키면서 총 토큰 사용량을 51.9% 감소시키고, BrowseComp-Plus에서는 정확도를 49%에서 56%로 증가시키는 등 상당한 성능 향상 및 비용 절감을 입증했습니다. 이는 long-horizon 에이전트를 위한 object-oriented context management가 task progress를 효과적으로 유지하고 에이전트가 앞으로 나아가기 위해 필요한 명시적인 context를 발전시키는 데 중요한 시사점을 제공함을 강력히 지지합니다.

Figure 1 — 재사용 객체를 활용한 컨텍스트 폴딩

Figure 2 — CarryOn 프레임워크 개요

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.