[논문리뷰] Beyond Accuracy: Unveiling Inefficiency Patterns in Tool-Integrated Reasoning본 연구는 transformer 추론의 제1 원리에 기반하여 prefill과 decode 단계의 비대칭적 비용을 모델링한 하드웨어 인식 지표인 PTE를 제안한다. PTE는 memory-bound인 decode 비용을 compute-bound인 prefill 토큰 단위로 환산하여 통합함으로써, 하드웨어 프로필에 무관한 일관된 효율성 평가를 가능하게 한다.#Review#Tool-Integrated Reasoning (TIR)#KV-Cache#PTE (Prefill Token Equivalents)#Inference Efficiency#Hardware-Aware Metric#LLM Agent2026년 4월 7일댓글 수 로딩 중
[vllm] vLLM 성능 최적화: cuMemcpyBatchAsync를 활용한 KV 캐시 스왑 효율화vLLM에서 KV 캐시 오프로딩 시 발생하는 개별 복사 오버헤드를 cuMemcpyBatchAsync로 통합하여 최대 7.4배의 성능 향상을 달성했습니다.#vLLM#CUDA#Performance#KV-Cache#Optimization2026년 4월 3일댓글 수 로딩 중
[논문리뷰] DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM InferencearXiv에 게시된 'DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference' 논문에 대한 자세한 리뷰입니다.#Review#LLM Inference#KV-Cache#Storage Bottleneck#Agentic Workloads#Dual-Path Loading#PD Disaggregation#RDMA#Adaptive Scheduling2026년 2월 25일댓글 수 로딩 중
[논문리뷰] Query as Anchor: Scenario-Adaptive User Representation via Large Language ModelarXiv에 게시된 'Query as Anchor: Scenario-Adaptive User Representation via Large Language Model' 논문에 대한 자세한 리뷰입니다.#Review#User Representation Learning#Large Language Models#Scenario-Adaptive#Query-Conditioned#Multi-modal#Prompt Tuning#KV-Cache#Industrial AI2026년 2월 16일댓글 수 로딩 중
[논문리뷰] Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement LearningarXiv에 게시된 'Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning' 논문에 대한 자세한 리뷰입니다.#Review#Long Context Reasoning#Memory Compression#Reinforcement Learning#Large Language Models (LLMs)#Inference Efficiency#Dynamic Recall#KV-Cache#Multi-hop Reasoning2026년 2월 10일댓글 수 로딩 중
[논문리뷰] Cache-to-Cache: Direct Semantic Communication Between Large Language ModelsarXiv에 게시된 'Cache-to-Cache: Direct Semantic Communication Between Large Language Models' 논문에 대한 자세한 리뷰입니다.#Review#Large Language Models (LLMs)#Inter-model Communication#KV-Cache#Semantic Transfer#Multi-LLM Systems#Cache Fusion#Latency Reduction#Knowledge Sharing2025년 10월 9일댓글 수 로딩 중