[논문리뷰] OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haibo Wang, Jiteng Mu, Jialu Li, Jingru Yi, Yuanjun Xiong, Jianming Zhang, Lifu Huang, Mingze Xu

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• OmniSeek: Omni-LLM을 수동적인 입력 처리 모델에서 능동적인 다중 턴 추론 에이전트로 변환하는 프레임워크입니다.
• OmniTraj-170K: 다중 턴 Chain-of-Thought(CoT) 추론 궤적과 교차 모달(audio-visual) 증거가 결합된 대규모 학습 데이터셋입니다.
• Audio-Visual Necessity: 모델이 답변을 도출할 때 오디오와 비디오 모달리티 모두에 의존하고 있는지 측정하여, 단일 모달리티에 편향된 추론을 방지하는 정량적 지표 및 목적 함수입니다.
• GSPO (Group Sequence Policy Optimization): 본 논문에서 강화학습을 수행하기 위해 사용한 정책 최적화 알고리즘입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현재의 Omni-LLM들이 전체 오디오-비디오 시퀀스를 단일 Forward pass로 수동적으로 처리함에 따라 발생하는 정보 희석(dilution)과 단일 모달리티 의존 문제를 해결하고자 합니다. 기존 모델들은 긴 컨텍스트 내에서 미세한 시각적 상세 정보나 짧은 청각적 이벤트를 효과적으로 포착하지 못하고, 종종 언어적 사전 지식(language priors)이나 단일 모달리티의 지름길(shortcuts)에 의존하는 한계를 보입니다. 이러한 문제를 극복하기 위해 모델이 추론 상태에 따라 필요시 능동적으로 증거를 수집하고 모달리티를 선택할 수 있는 에이전트 기반의 접근 방식이 필수적입니다. [Figure 1]

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 <think> → <tool_call> → <observe>의 반복적인 루프를 통해 증거를 수집하는 OmniSeek 프레임워크를 제안합니다. 이 에이전트는 get_audio_clip 및 get_video_clip 툴을 사용하여 필요한 시점에 정확한 타임스탬프의 원시 데이터를 추출하고 이를 컨텍스트에 추가하여 추론을 점진적으로 구체화합니다. 학습 과정은 170K 개의 데이터로 구성된 OmniTraj-170K를 활용한 SFT(Supervised Fine-Tuning)와, 모델의 탐색 능력을 극대화하기 위한 3단계 강화학습 전략으로 구성됩니다. 특히, Audio-Visual Necessity objective를 도입하여 두 모달리티를 모두 활용하는 성공적인 궤적에 가중치를 부여함으로써 단일 모달리티에 편향된 추론을 억제합니다. [Figure 2], [Figure 4]

실험 결과, OmniSeek은 기존 오픈소스 모델 대비 월등한 성능을 보이며 특히 긴 컨텍스트와 복잡한 추론이 필요한 벤치마크에서 뛰어난 효율을 입증했습니다. VideoHolmes 벤치마크에서 74.6%의 정확도를 기록하여 이전 최고 성능 모델인 OmniVideo-R1(62.9%)을 크게 상회하였으며, LVOmni 벤치마크에서도 44.2%의 성능으로 일반적인 비디오 이해 능력을 유지하면서도 agentic 추론 능력을 성공적으로 통합했음을 보여줍니다. [Table 1], [Table 3]

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Omni-LLM의 추론 패러다임을 수동적인 perception에서 능동적인 증거 탐색 과정으로 전환하는 데 성공했습니다. 제안된 OmniSeek은 다중 턴 툴 프로토콜과 정교한 데이터 엔진, 강화학습 목적 함수를 통해 교차 모달 추론의 새로운 표준을 제시했습니다. 이 연구는 장기 비디오 분석, 복합적 오디오-시각적 추론 등 고난도 태스크에서 모델의 실질적인 문제 해결 능력을 비약적으로 향상시켰으며, 향후 agentic AI 발전에 중요한 기반을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.