[논문리뷰] Ambient @ EgoLongQA 2026: Distilling Long-Video perception into a Sub-2B Model

링크: 논문 PDF로 바로 열기

메타데이터

저자: Logesh Kumar Umapathi, et al.

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• EgoLongQA: 10분 내외의 긴 Egocentric video에 대해 4지선다형 질문을 해결하는 벤치마크 태스크입니다.
• Agentic Pipeline: 여러 번의 junior perception module 실행과 senior orchestrator의 도구 활용(tool-using)을 통해 추론하는 복합적인 모델 구조입니다.
• Oracle-filtered Trace Distillation: 티처 모델의 추론 경로 중 정답을 맞힌 샘플만을 필터링하여 학생 모델에 학습시키는 증류 기법입니다.
• Vocabulary Pruning: 모델의 Parameter 제한을 맞추기 위해 사용하지 않는 어휘 사전의 행을 제거하여 모델 크기를 줄이는 기법입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 제한된 컴퓨팅 자원 내에서 긴 Egocentric video를 이해하는 효율적인 모델을 구축하는 문제를 해결하고자 합니다. 기존의 강력한 Agentic pipeline은 높은 성능을 보이지만, 추론 시 너무 많은 시간과 파라미터가 요구되어 ≤2B 파라미터 제약이 있는 환경에서는 적용이 불가능합니다. 저자들은 에이전트 전체를 증류하는 대신, 추론의 핵심인 Junior perception module만을 증류하여 성능을 보존하면서도 효율적인 단일 Greedy forward pass 모델을 제안합니다 [Figure 1].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 Oracle-filtered trace distillation을 통해 대형 에이전트의 성능을 소형 모델로 전이시키는 프레임워크를 제안합니다. 티처 모델의 Junior perception module이 생성한 추론 결과 중 정답과 일치하는 샘플 2,936개를 선별하여 학습하며, Synthetic data를 추가하여 모델의 강건성을 확보합니다. 모델 크기를 ≤2B 이하로 맞추기 위해 Vocabulary pruning을 수행하여 2.2132B 파라미터를 1.9985B로 줄였으며, 이 과정에서 Logit 변화는 없음을 확인했습니다 [Table 3]. 실험 결과, 제안 모델은 27.1%에 불과했던 Base model의 정확도를 81.4%까지 향상시켰으며, EgoLongQA 공식 리더보드에서 0.8279의 정확도로 1위를 기록했습니다 [Table 5].

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 복잡한 에이전트 파이프라인 전체가 아닌 핵심 Perception component를 선별적으로 증류하는 전략이 초소형 모델의 성능을 극대화할 수 있음을 입증했습니다. 또한 Vocabulary pruning과 Prior-corrected evaluation을 통해 엄격한 파라미터 제한과 편향 문제를 해결하였습니다. 이 연구는 자원이 제한된 환경에서도 고성능 비디오 이해 모델을 배포할 수 있는 실용적인 방법론을 제시하며, 향후 Wearable AI 분야의 경량화 연구에 중요한 지침이 될 것입니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 에이전트 파이프라인과 증류 구조

Figure 2 — 합성 데이터 생성 과정

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.