[논문리뷰] Video-RSI: Recursive Self-Improvement of Video Understanding Agents via Harness Evolution

링크: 논문 PDF로 바로 열기

메타데이터

저자: Bingjun Luo, Jialin Guo, Siqi Li, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Harness: 비디오 에이전트가 비디오 데이터를 관찰하고(Observe), 처리하며(Process), 추론하는 과정을 제어하는 실행 가능한(Executable) 코드 프레임워크입니다.
• Active Video Investigation: 에이전트가 실패한 실행 사례를 분석하기 위해 원래의 비디오로 돌아가 추가적인 정보를 획득하고, 실패 원인을 명확히 진단하는 프로세스입니다.
• Cost-Aware Harness Evolution: Answer Accuracy와 Visual Cost(프레임 처리량)를 동시에 고려하여, 성능 개선과 효율성을 모두 만족하는 Harness 수정안만을 선택적으로 반영하는 진화 알고리즘입니다.
• Solver & Editor: 고정된 동일한 Language Model을 사용하여, 질문에 답변하는 Solver 역할과 Harness 코드를 수정하는 Editor 역할을 분담하여 수행합니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존 비디오 에이전트가 고정된 Harness에 의존하여 실패 원인을 적절히 진단하지 못하고, 증거 수집 방식의 최적화가 어렵다는 한계를 해결하고자 합니다 [Figure 1]. 기존 연구들은 실행 Trace만을 바탕으로 학습하거나 모델 가중치를 수정하는 데 집중했으나, Trace는 현재 Harness가 획득한 제한적 정보만을 담고 있어 근본적인 오류 원인을 파악하는 데 부족합니다. 또한, 성능 향상을 위해 수행하는 무분별한 데이터 수집은 처리 비용(Visual Cost)을 과도하게 높이는 문제를 야기합니다. 따라서 저자들은 모델 가중치를 고정하면서도, 에이전트가 스스로 Harness를 수정하여 더 효율적이고 정확한 증거 획득 능력을 갖추도록 하는 Recursive Self-Improvement 프레임워크인 Video-RSI를 제안합니다 [Figure 1].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) Video-RSI는 Solver와 Editor가 공유하는 Frozen Language Model을 기반으로, 실패 사례에 대한 Active Investigation을 수행하고 이를 바탕으로 코드 수준의 개선을 도모합니다 [Figure 2]. Active Video Investigation 단계에서는 에이전트가 비디오를 재조사하여 실패 원인을 진단하고, 이를 Cost-Aware Harness Evolution 단계로 넘겨 Accuracy와 Visual Cost라는 두 가지 기준에 부합하는 후보만을 최종 적용합니다. 실험 결과, Video-RSI는 기존의 Harness 기반 최적화 기법(VideoHarness-RSI 등) 대비 더 높은 Accuracy를 달성하면서도 시각적 프레임 처리량은 대폭 감소시키는 성과를 보였습니다 [Table 1]. 예를 들어, MLVU 벤치마크에서는 기존 대비 Accuracy를 4.8%p 높이면서 프레임 사용량은 27.2% 절감하였습니다 [Table 1]. 또한, Ablation Study를 통해 Active Investigation이 단순 Trajectory 기반 수정보다 성능 개선에 핵심적인 역할을 함을 입증하였습니다 [Table 2].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 고정된 모델 가중치 환경에서도 Harness의 재귀적 진화를 통해 비디오 이해 에이전트의 성능과 효율성을 동시에 확보할 수 있음을 입증했습니다. 특히 모델의 구조를 바꾸지 않고도 도구 사용, 정보 수집, 증거 조직화 전략을 학습 과정에서 스스로 고도화할 수 있다는 점은 향후 에이전트 설계의 자동화 측면에서 큰 시사점을 가집니다. Video-RSI 프레임워크는 비용 효율적인 에이전트 시스템 구축이 필수적인 대규모 비디오 데이터 처리 분야에서 유용한 가이드라인이 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.