[논문리뷰] Thinking While Speaking: Inference-Time Knowledge Transfer for Responsive and Intelligent Conversational Voice Agents본 논문은 클라우드 기반 LLM의 높은 추론 능력과 온디바이스 모델의 즉각적인 반응성이라는 이중적 요구사항을 동시에 만족하기 위한 새로운 하이브리드 아키텍처를 제안합니다.#Review#Conversational Infill#On-device AI#Model Collaboration#Latency#Streaming Knowledge#LLM2026년 6월 28일댓글 수 로딩 중
[논문리뷰] Duration Aware Scheduling for ASR Serving Under Workload Drift본 논문은 대규모 ASR 시스템에서 FCFS 기반 스케줄링이 작업 시간의 가변성을 고려하지 못해 발생하는 비효율성 문제를 해결한다. 기존의 vLLM과 같은 서빙 엔진들은 입력을 순차적으로 처리하므로, 긴 오디오 요청이 짧은 요청들을 가로막는 Head-of-Line blocking 현상이 빈번하게 발생한다.#Review#ASR#Scheduling#Latency#vLLM#Whisper#Workload Drift#SJF#HRRN2026년 6월 18일댓글 수 로딩 중
[논문리뷰] AdaCodec: A Predictive Visual Code for Video MLLMs본 논문은 기존 비디오 MLLMs가 비디오의 시간적 중복성(Temporal Redundancy)을 무시하고 모든 프레임을 독립적인 RGB 이미지로 처리하여 발생하는 비효율성 문제를 해결한다.#Review#Video MLLMs#Predictive Coding#Visual Token#Efficiency#Temporal Redundancy#GOP (Group of Pictures)#Latency2026년 6월 4일댓글 수 로딩 중
[논문리뷰] Joint Agent Memory and Exploration Learning via Novelty Signals본 논문은 LLM 기반 에이전트가 개방형 환경에서 효율적인 탐색을 수행하지 못하는 문제를 해결하고자 합니다. 기존 에이전트는 환경과의 상호작용 기록이 길어짐에 따라 전체 기록을 유지하는 데 발생하는 막대한 계산 비용과 메모리 저장 공간 문제에 직면해 있습니다.#Review#Agent Memory#Exploration#Novelty Signals#GUI Agents#Latency#Token Efficiency#Latent Memory2026년 6월 1일댓글 수 로딩 중
[논문리뷰] AsyncTool: Evaluating the Asynchronous Function Calling Capability under Multi-Task Scenarios기존 LLM 에이전트 연구들은 주로 단일 태스크 환경과 즉각적인 도구 응답을 가정하여 평가를 수행해왔습니다. 그러나 실제 환경에서는 도구 호출 시 지연 시간(latency)이 발생하며, 여러 태스크를 동시에 처리해야 하는 상황이 빈번합니다.#Review#Asynchronous Tool Calling#Multi-task Scenarios#LLM Agent#Temporal Coordination#Latency#Benchmark2026년 5월 28일댓글 수 로딩 중
[논문리뷰] Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving본 논문은 End-to-End Autonomous Driving을 위한 Vision-Language-Action (VLA) 모델이 직면한 High-Fidelity Trajectory Planning과 Efficient Inference 간의 상충 관계 문제를 해결하고자 합니다.#Review#Autonomous Driving#VLM#Block-Diffusion#Inference Efficiency#Trajectory Planning#Scaffold Speculative Decoding#Latency#Throughput2026년 5월 27일댓글 수 로딩 중
[논문리뷰] Executing as You Generate: Hiding Execution Latency in LLM Code Generation본 연구는 기존 LLM 코드 생성 및 실행 파이프라인에서 발생하는 불필요한 대기 시간을 제거하는 것을 핵심 목표로 합니다.#Review#Parallel Execution#LLM#Code Generation#Latency#AST-based Chunking#Dynamic Batching#Error Interruption2026년 4월 2일댓글 수 로딩 중
[Open WebUI] 이중 RAF 제거로 스트리밍 표시 지연 32ms에서 16ms로 단축이미 존재하는 RAF 쓰로틀링 위에 중복 RAF를 추가한 실수를 되돌려 스트리밍 렌더링 지연을 절반으로 줄인 PR 분석.#Open WebUI#Frontend#requestAnimationFrame#Streaming#Svelte#Latency2026년 3월 25일댓글 수 로딩 중
[논문리뷰] ECoLAD: Deployment-Oriented Evaluation for Automotive Time-Series Anomaly Detection기존의 Time-Series Anomaly Detection(TSAD) 연구들은 주로 workstation-class hardware에서 unconstrained execution 환경 하에 detection quality(주로 accuracy)만을 비교하고 최적화했습니다.#Review#Time-series anomaly detection#Deployment-oriented evaluation#Compute reduction#CPU parallelism#Throughput#Latency#Automotive telemetry#AUC-PR2026년 3월 15일댓글 수 로딩 중
[Ray] iter_batches에서 프리페치 버퍼링을 올바르게 처리하여 지연시간 안정화iter_batches의 큐 깊이를 프리페치 수에 맞추고, 포맷 스레드풀 워커 수를 제한하여 배치 소비 지연시간의 변동을 줄인 최적화 분석.#Ray#Python#Performance#Prefetch#Latency#Data Pipeline2025년 11월 20일댓글 수 로딩 중
[논문리뷰] Voice Evaluation of Reasoning Ability: Diagnosing the Modality-Induced Performance Gap본 논문은 실시간 대화 제약 조건 하에서 음성 대화형 시스템의 추론 능력을 평가하고, 텍스트 모델과 비교하여 발생하는 심각한 성능 저하, 즉 Voice Reasoning Gap (VRG) 을 진단하는 것을 목표로 합니다.#Review#Voice AI#LLM#Reasoning#Benchmark#Modality Gap#Latency#Speech Recognition#Generative AI#Real-time Systems#Conversational AI2025년 10월 1일댓글 수 로딩 중