[논문리뷰] Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will extract the required information and structure the response.

Part 1: Markdown Summary

Metadata:

• Authors: Zhenyu Zhang, Kewei Fu, Yongqi Tong, Chenzhi Zheng, Wei Wu, Jiang-Ming Yang, Jianshe Li (Ant International)
• Keywords: voice agents, speculative reasoning, tool execution, realtime, latency (I'll add a few more academic terms)

## 1. Key Terms & Definitions

• Heartbeat Thinking: Real-time voice agent framework that enables speculative reasoning and tool execution during speech by employing periodic, overlapping Thinker invocations and an endpoint-triggered Responder.
• Thinker: Heartbeat Thinking 내에서 주기적으로 호출되어 최신 부분 Transcript와 공유된 Reasoning 및 Tool 결과를 읽고 처리하는 컴포넌트입니다. Thinker는 독립적으로 작동하며, 병렬적으로 여러 호출이 실행될 수 있습니다.
• Responder: Speech 종료 시점에 Trigger되어 최종 Transcript와 Thinker가 완료한 Preparation 스냅샷을 받아 나머지 Reasoning과 Tool Call을 수행하고 최종 응답을 생성하는 컴포넌트입니다.
• Speculative Tool Coverage (STC): Responder가 Tool Call을 반복하지 않고, 완성된 Matching Speculative Call의 결과가 Responder Context에 포함되는 Reference Call의 비율을 측정하는 지표입니다.
• Final Response Latency: 필요한 Tool Call이 완료된 후 최종 음성 응답이 시작되는 시점까지의 지연 시간을 측정하는 지표입니다.

## 2. Motivation & Problem Statement 기존 Tool-using Voice Agents는 사용자가 발화를 마칠 때까지 기다린 후 작업을 시작하여, 응답 대기 시간이 길어지는 문제가 있었습니다. Speculative Approaches는 발화 중에 작업을 시작하지만, Chunk-bounded 또는 Interrupt-on-update 방식의 Generation은 Tool Call이 Arguments를 완성하기 전에 중단될 수 있어 유용한 작업의 선행 완료를 제한했습니다. 이러한 방식은 Computation Time을 Speech Updates에 결합시켜, 미리 수행할 수 있는 작업량을 제약했습니다. 저자들은 이러한 한계를 극복하고, 입력이 업데이트되는 동안에도 진행 중인 Computation을 유지하며 Reusable Preparation을 확보하여 최종 응답 Latency를 줄이는 새로운 접근 방식의 필요성을 제기합니다.

## 3. Method & Key Results 본 논문은 실시간 음성 에이전트의 Latency 감소를 위해 Heartbeat Thinking이라는 새로운 패러다임을 제안합니다. 이 방법론은 사용자의 발화가 진행되는 동안 주기적으로 호출되는 Thinker와 Speech 종료 시점에 Trigger되는 Responder로 구성됩니다 [Figure 2]. Thinker는 최신 Partial Transcript와 공유된 Completed Reasoning 및 Tool Results를 읽고, 독립적인 호출들이 Overlap되어 실행될 수 있도록 합니다. 이를 통해 하나의 Thinker는 Tool Call을 구성하는 동안 다른 Thinker는 업데이트된 입력을 처리하며, Asynchronously 실행된 Tool의 결과는 공유 기록에 통합됩니다. Responder는 Speech 종료 시점에 최종 Transcript와 완료된 Preparation의 Snapshot을 받아 적용 가능한 결과를 재사용하고, 미완료된 Speculative Job은 취소하여 대기 없이 작업을 시작합니다.

실험 결과, Heartbeat Thinking은 SpeechFCEval, FDBench v3, AudioCRAG 세 가지 벤치마크에서 기존 SHANKS-style Window Thinking 대비 더 높은 Speculative Tool Coverage (STC) 또는 Retrieval Reuse를 달성했습니다 [Table 1]. 특히 FDBench v3에서 STC를 34.67%에서 50.67%로 16%p 증가시켰으며, Mean Final-Response Latency를 6.90초에서 4.39초로 36.4% 감소시켰습니다 [Table 1, Figure 4]. 이는 가장 빠른 Cascaded Baseline인 Pipecat 대비 45.7% 낮은 수치입니다. SpeechFCEval에서 STC는 10.56%p (33.13% → 43.69%) 증가했으며, AudioCRAG에서는 42.37%p (20.05% → 62.42%)의 상당한 개선을 보였습니다 [Table 1]. 그러나 Final Task Quality는 벤치마크에 따라 상이하여, FDBench에서는 Quality 및 Pass@1이 향상된 반면, SpeechFCEval과 AudioCRAG에서는 약간 감소했습니다 [Table 1].

## 4. Conclusion & Impact 본 논문은 Speech Updates 전반에 걸쳐 Speculative Computation을 Overlap시키고 완료된 Preparation을 별도의 Responder에 전달하는 Heartbeat Thinking을 제안합니다. 이 접근 방식은 기존 Windowed Baseline보다 더 많은 Reusable Preparation을 확보하며, FDBench v3에서 최종 응답 Latency를 크게 단축시켰습니다. 이 연구는 Realtime Voice Agents의 효율성을 크게 향상시키고 사용자 경험을 개선할 수 있는 잠재력을 가지고 있습니다. Speculative Results의 올바른 Interpretation 및 활용이 여전히 중요한 과제로 남아 있지만, 지속적인 Computation을 통해 Listening Time을 Reusable Preparation으로 전환하는 패러다임은 보다 빠르고 유능한 Voice Agent Response를 위한 중요한 발판을 마련합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.