[논문리뷰] NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

메타데이터

저자: Mikhail Erofeev, Kira Shilovskaya, Ivan Kosmynin, Alexey Bryncev, Andrey Moskalenko, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Video Saliency Prediction: 영상의 각 프레임에서 인간의 시각 시스템(HVS)이 자연스럽게 주목하는 영역을 모델링하여 예측하는 기술입니다.
• Fixation Maps: eye-tracking 장치나 마우스 트래킹을 통해 수집된 관찰자의 시선 데이터를 기반으로 생성된, 주목도의 확률 밀도를 나타내는 지도입니다.
• LoRA (Low-Rank Adaptation): 사전 학습된 대규모 모델의 가중치를 고정한 채, 소규모의 적응형 행렬만을 학습시켜 특정 태스크에 맞게 파인튜닝하는 효율적인 방법론입니다.
• Foundation Models: 대규모 데이터로 사전 학습되어 범용적인 시공간 특징 추출 능력을 갖춘 거대 모델(예: InternVideo2, V-JEPA2)을 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 대규모 비디오 데이터셋 구축의 어려움과 인간의 시각적 주의 집중 메커니즘을 자동화하려는 과제를 해결하고자 합니다. 기존 연구들은 고품질의 eye-tracking 데이터를 확보하는 데 비용과 확장성 측면에서 한계를 겪어왔으며, 이를 극복하기 위해 마우스 트래킹 기반의 크라우드소싱 방식이 도입되었습니다. 본 챌린지는 이러한 크라우드소싱 데이터의 품질을 한층 개선하고, 최신 Foundation Models를 활용하여 비디오 샐리언시 예측의 정확도를 높이는 것을 목표로 합니다. [Figure 1]

Figure 1 — iLearn 모델 파이프라인

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 챌린지에서는 총 2,000개의 다양한 비디오로 구성된 새로운 데이터셋을 활용하였으며, 7개의 최종 팀이 제안한 모델들을 평가했습니다. 우승 팀인 iLearn은 InternVideo2 백본을 공유하고 두 개의 상호 보완적인 디코더를 앙상블(Ensemble)하는 다중 전문가 프레임워크를 제안했습니다 [Figure 1]. 2위를 차지한 CVSP 팀은 V-JEPA2 백본의 자기 지도 학습 표현을 재사용하여 시공간적 예측 오류를 최소화하는 PredJSal 프레임워크를 설계했습니다 [Figure 2]. 3위 팀인 ARK_MMLAB은 계층적 아키텍처를 통해 다중 스케일 특징을 효과적으로 정렬하고 활용하였습니다 [Figure 3]. 최종 평가 결과, 상위 솔루션들은 모두 InternVideo2나 V-JEPA2와 같은 거대 Foundation 모델을 기반으로 시공간적 문맥을 학습하여 CC(Pearson’s Correlation Coefficient) 및 AUC-Judd 등의 지표에서 높은 성능을 기록했습니다 [Table 1].

Figure 2 — PredJSal 프레임워크 개요

Figure 3 — ARK_MMLAB 예측 프레임워크

4. Conclusion & Impact (결론 및 시사점)

본 연구는 NTIRE 2026 비디오 샐리언시 예측 챌린지의 결과를 통해 현대 컴퓨터 비전 모델이 비디오 기반의 시각적 주의 패턴을 얼마나 효과적으로 파악할 수 있는지를 입증했습니다. 대규모 데이터셋과 최신 Foundation Models의 결합이 성능 향상의 핵심 동력임이 확인되었으며, 이는 향후 perceptually guided video compression, AI 콘텐츠 생성, 미디어 향상 등 다양한 산업 분야에 중요한 기여를 할 것으로 기대됩니다. 이번 챌린지에서 공개된 코드와 데이터는 향후 연구자들이 더 정밀하고 일반화된 샐리언시 모델을 개발하는 데 핵심적인 가이드라인이 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.