[논문리뷰] CoPE-VideoLM: Codec Primitives For Efficient Video Language Models

링크: 논문 PDF로 바로 열기

저자: Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

핵심 연구 목표

기존 Video Language Models (VideoLMs)의 밀집 RGB 프레임 인코딩으로 인한 높은 계산 오버헤드 및 희소 키프레임 샘플링으로 인한 제한적인 시간 범위 문제를 해결하는 것이 목표입니다. 비디오 코덱의 본질적인 잉여성과 희소성 을 활용하여 효율적인 비디오 언어 이해와 긴 문맥(long-context) 처리를 가능하게 하는 새로운 프레임워크를 제안합니다.

핵심 방법론

CoPE-VideoLM은 비디오의 GOP (Group of Pictures) 구조 를 활용합니다. I-프레임(keyframes) 은 표준 vision encoder 로 처리하여 RGB 토큰을 생성하고, P-프레임(predictive frames) 은 전체 RGB 디코딩 없이 motion vectors 와 residuals 를 경량의 A-Encoder (Δ-Encoder) 에 입력하여 압축된 A-토큰을 생성합니다. 이 A-Encoder 는 이미지 인코더 임베딩 공간과 정렬되도록 사전 훈련된 후, 전체 VideoLM 파이프라인과 함께 end-to-end 파인튜닝 됩니다.

주요 결과

이 방법은 표준 VideoLM 대비 time-to-first-token (TTFT)을 최대 86% (최소 0.33초 ) 감소시키고, 토큰 사용량을 최대 93% 절감합니다. 동시에 14개 비디오 이해 벤치마크에서 성능을 유지하거나 향상시켰으며, PerceptionTest에서 80% 더 적은 토큰 으로 +2.6%의 정확도 향상 을 달성했습니다. MVBench 및 TempCompass와 같은 시간 추론 벤치마크에서도 기존 오픈소스 모델들을 능가하는 최고 정확도 를 기록했습니다.

AI 실무자를 위한 시사점

CoPE-VideoLM은 비디오 LM의 효율성과 확장성 을 크게 향상시키는 실용적인 접근 방식을 제시합니다. 제한된 GPU 자원 으로 대규모 비디오를 처리해야 하는 AI/ML 엔지니어에게 비용 효율적인 솔루션 을 제공하며, 낮은 TTFT 는 실시간 비디오 분석 및 로봇 공학과 같은 즉각적인 응답이 필요한 애플리케이션에 매우 중요합니다. 이는 장기 비디오 이해 및 정교한 시간적 추론 이 필요한 AI 시스템 개발에 있어 새로운 가능성을 열어줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.