[논문리뷰] RL-Index: Reinforcement Learning for Retrieval Index Reasoning본 논문은 복잡한 논리적 추론이 필요한 검색 과제에서 기존 모델들이 겪는 한계를 극복하기 위해 제안되었다. 기존의 Query Rewriting 기반 접근 방식은 실시간으로 LLM을 호출해야 하므로 상당한 Online Latency를 유발하는 문제가 있다 .#Review#Retrieval-Augmented Generation#Reinforcement Learning#Agentic Indexing#Group Relative Policy Optimization#Document Augmentation#Latency Optimization2026년 6월 24일댓글 수 로딩 중
[Gradio] MCP 도구 호출 레이턴시 개선 — HTTP 루프백 제거non-queued MCP 이벤트에서 HTTP 루프백을 제거하고 process_api()를 직접 호출하여 레이턴시를 대폭 줄인다#Gradio#MCP#Latency Optimization#Python2026년 3월 6일댓글 수 로딩 중
[논문리뷰] Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models본 논문은 소형 언어 모델(SLM) 의 효율적인 배포를 저해하는 실기기 지연 시간 문제를 해결하고, 지연 시간 최적화된 SLM 설계 및 훈련을 위한 일반화 가능한 원칙과 방법론을 제시하는 것을 목표로 합니다.#Review#Small Language Models (SLMs)#Latency Optimization#Hybrid Architectures#Evolutionary Search#Weight Normalization#Efficient Attention#Depth-Width Ratios#Real-device Efficiency2025년 11월 30일댓글 수 로딩 중
[논문리뷰] LiteStage: Latency-aware Layer Skipping for Multi-stage Reasoning본 연구는 소규모 LLM에서 다단계 추론 시 발생하는 높은 레이턴시 문제를 해결하고자 합니다.#Review#Layer Skipping#Multi-stage Reasoning#Latency Optimization#Early Exit#Small Language Models (LLMs)#Adaptive Computation#Confidence-based Decoding2025년 10월 17일댓글 수 로딩 중
[논문리뷰] Thai Semantic End-of-Turn Detection for Real-Time Voice Agents이 논문은 실시간 음성 에이전트를 위한 태국어 텍스트 전용 EOT(End-of-Turn) 감지 에 대한 최초의 체계적인 연구를 수행하는 것을 목표로 합니다.#Review#End-of-Turn Detection#Thai NLP#Voice Agents#Real-time Inference#Transformer Models#Few-shot Learning#Fine-tuning#Latency Optimization2025년 10월 7일댓글 수 로딩 중