[논문리뷰] Omni-InteractScope: Benchmarking Proactive and Agentic Interaction in Continuous Omnimodal Streams

링크: 논문 PDF로 바로 열기

I have successfully browsed the paper. Now I will proceed with extracting information and structuring the response as per the guidelines.

Part 1: Markdown Summary

Metadata:

• Authors: Yinsong Yan, Ling Wang, Yuxuan Wang, Yifan Yang, Ruiyang Xu, Junming Lin, Qi Chen, Meng Gao, Minghao Han, Yunfei Chu, Qize Yang, Xize Cheng, Jin Xu, Jibin Wu
• Keywords: Omnimodal LLMs, Proactive Interaction, Agentic Interaction, Continuous Streams, Timely Intervention, Query-Free Assistance, Guidance Coverage, Benchmark

Section 1: Key Terms & Definitions

• Omnimodal Large Language Models (Omni-LLMs): 지속적인 오디오-비주얼 스트림을 관찰하며 사용자에게 proactive하고 agentic한 지원을 제공하도록 설계된 대규모 언어 모델.
• Timely Intervention: 특정 이벤트 발생 시점에 맞춰 적절한 도구 호출이나 알림과 같은 조치를 취하는 능력.
• Query-Free Assistance: 사용자의 명시적인 질문 없이도 일반적인 요구 사항을 바탕으로 관련 정보를 제공하거나 리마인더를 제공하는 proactive한 지원.
• End-to-End Guidance Coverage: 다단계 지침(multi-step guidance)이 요구되는 시나리오에서 전체 일련의 응답을 완료하는 능력.
• Temporal Targets: 각 상호작용에서 모델이 생성해야 하는 응답 내용과 유효한 시간 또는 시간 간격을 명시하는 참조 지점.

Section 2: Motivation & Problem Statement 본 논문은 Omni-LLMs가 continuous audiovisual streams를 관찰하며 사용자에게 시기적절하고 지속적인(timely and sustained) assistance를 제공하는 능력에 대한 심층적인 평가의 필요성을 제기한다. 기존 평가 방법론들은 video understanding에 중점을 두거나, 상호작용의 특정 측면만을 다루어 실제 환경에서의 proactive하고 agentic한 상호작용 능력을 종합적으로 측정하는 데 한계가 있었다. 특히, 스트리밍 환경에서 어시스턴트는 perceptual evidence와 user needs를 연결하여 언제, 어떤 intervention이 필요한지, 그리고 추가적인 응답이 필요한지 여부를 결정해야 한다. 그러나 현재의 Omni-LLMs는 이벤트 기반의 도구 호출(event-timed tool invocation), 질의 없는 리마인더(query-free reminders), 그리고 다단계 지침의 완전한 제공(complete guidance coverage) 측면에서 상당한 한계를 보였다. 이러한 한계점들은 기존 벤치마크들이 연속적인 스트림 내에서 사용자 context, 응답 content, 유효한 timing, 그리고 successive targets 간의 명시적인 연결을 평가하는 데 부족했기 때문에 발생한다. 저자들은 이러한 격차를 해소하고 Omni-LLMs의 proactive interaction 능력을 종합적으로 벤치마킹하기 위한 새로운 접근 방식의 필요성을 강조한다.

Section 3: Method & Key Results 저자들은 Omni-InteractScope라는 새로운 벤치마크를 제안하며, 이는 1,479개의 human-annotated 및 cross-reviewed interaction과 1,790개의 temporal targets로 구성된다. 이 벤치마크는 input modalities, event triggers, intervention types, 그리고 user needs의 네 가지 차원을 연결하며, event-timed tool invocation 및 query-free assistance를 포함하여 notifications, warnings, state tracking, continuous responses 등 8가지 task group을 아우른다. 제안된 벤치마크를 통해 12개 모델에 대한 실험을 수행한 결과, 현재 Omni-LLMs의 세 가지 critical limitations가 드러났다.

첫째, Timely tool invocation의 신뢰도가 낮다. 평가된 12개 모델 중 가장 성능이 좋은 모델조차 tool-invocation targets의 40%만이 on-time first response를 생성했으며, joint timing-and-tool accuracy는 최대 32.0%에 불과했다 [Table 2]. 이는 요청 priors와 타이밍 정보만으로도 일정 수준의 정확도가 나올 수 있음을 진단적 분석을 통해 밝혀, scene evidence에 기반한 이벤트 grounding이 부족할 수 있음을 시사한다 [Figure 3a].

둘째, Query-free reminders의 coverage가 미흡하다. 모든 평가 모델은 query-free reminders (T8-A)에서 explicit questions (T8-B) 대비 낮은 timely reference-target recall을 보였으며, reminder recall은 23.0%를 초과하지 못했다 [Table 3]. Gemini-3.1-Pro 모델은 T8-A에서 22.95%의 recall을 기록한 반면, T8-B에서는 62.25%를 달성하여 큰 격차를 보였다 [Table 3]. 또한, response history와 cooldown 정책이 reminder coverage에 영향을 미치며, response history를 사용하면 output volume이 58.1% 감소함에도 aggregate recall은 동일하게 유지될 수 있음을 보여준다 [Figure 3b].

셋째, End-to-end guidance coverage가 제한적이다. 9개 모델은 26개 guidance sequence 중 어떠한 것도 완전히 커버하지 못했으며, 나머지 3개 모델도 1개에서 3개 sequence만을 완료했다 [Table 3]. Gemini-3.1-Pro는 T8-C steps의 51.7%를 커버했지만, 26개 sequence 중 단 3개만을 완료했다 [Table 3]. 이는 개별 단계의 성공률이 높더라도 전체 guidance sequence를 완료하는 데 어려움이 있음을 나타낸다.

Section 4: Conclusion & Impact 본 연구는 continuous omnimodal streams 환경에서 proactive하고 agentic한 상호작용을 위한 Omni-InteractScope 벤치마크를 성공적으로 도입했다. 이 벤치마크는 Omni-LLMs가 user needs와 stream evidence를 기반으로 timely intervention을 수행하고, 다단계 응답을 지속적으로 제공하는 능력을 평가하는 데 중요한 기반을 제공한다. 실험 결과는 현재 Omni-LLMs가 timely tool invocation, query-free reminders, 그리고 end-to-end guidance coverage 측면에서 심각한 한계를 가지고 있음을 명확히 보여준다. 이러한 발견은 향후 연구에서 어시스턴트가 초기 응답 이후에도 지속적으로 필요한 상호작용 요구 사항을 충족하는지 여부를 평가하는 데 집중해야 함을 시사한다. Omni-InteractScope는 학계 및 산업계에서 streaming assistant의 개발 및 평가를 위한 표준화된 공유 기반을 제공함으로써, 더욱 신뢰할 수 있고 유능한 AI 어시스턴트 시스템 구축에 기여할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.