[vllm] vLLM Elastic EP의 CUDA Graph 재사용을 통한 리컨피규레이션 다운타임 97% 절감Elastic EP 리컨피규레이션 시 발생하는 CUDA Graph 재캡처 및 커널 웜업 오버헤드를 제거하여 서비스 중단 시간을 획기적으로 줄인 기술 분석.#vLLM#CUDA#LLM#Distributed Systems#Performance Optimization2026년 9월 12일댓글 수 로딩 중
[flashinfer] FlashInfer의 GEMM 성능 혁신: cuTile 백엔드 도입과 최적화 여정FlashInfer가 cuTile 백엔드를 도입하여 GEMM 성능을 극대화하고 견고성을 강화한 과정을 분석합니다.#FlashInfer#GEMM#cuTile#CUDA#성능 최적화#FP8#MoE#GPU 프로그래밍2026년 9월 11일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell(SM103a)을 위한 극한의 커널 퓨전: MiniMax-H3 BF16 Pre-attention 최적화 분석FlashInfer가 Blackwell 아키텍처의 TMA와 Tensor Map을 활용해 Pre-attention 연산을 어떻게 1.44배 가속했는지 분석합니다.#CUDA#Blackwell#FlashInfer#Kernel Fusion#Deep Learning#Performance Optimization2026년 9월 11일댓글 수 로딩 중
[vllm] vLLM의 MLA KV 캐시 최적화: 커널 통합을 통한 성능 극대화vLLM에서 여러 레이어의 FP8 MLA KV 캐시 삽입을 하나의 CUDA 커널로 통합하여 최대 6배 이상의 성능 향상을 달성한 최적화 사례를 분석합니다.#vLLM#CUDA#Optimization#LLM#Performance2026년 9월 11일댓글 수 로딩 중
[sglang] SGLang aiter 백엔드의 Sliding Window Attention(SWA) 최적화 및 안정성 개선aiter 백엔드에서 SWA KV 풀 해석 로직을 개선하고, paged-decode 시 잘못된 연산을 방지하는 가드를 추가하여 추론 정확도를 확보했습니다.#SGLang#aiter#ROCm#LLM#Optimization2026년 9월 11일댓글 수 로딩 중
[vllm] vLLM, ROCm 환경에서 FP8 GEMM 최적화로 성능 4-9% 향상vLLM이 ROCm 환경에서 FP8 GEMM 연산에 'bpreshuffled' 기법을 도입하여 성능을 4-9% 향상시킨 PR 분석#vLLM#ROCm#FP8#GEMM#성능 최적화#딥러닝2026년 9월 10일댓글 수 로딩 중
[sglang] Ascend NPU 환경에서 HiCache L2 I/O 성능 최적화: Memfabric과 AscendC 활용Ascend NPU의 HiCache L2 I/O 경로에 Memfabric과 AscendC를 도입하여 메모리 동기화 병목을 제거하고 전송 효율을 극대화했습니다.#NPU#SGLang#HiCache#AscendC#Memfabric#Performance2026년 9월 10일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 모델 성능 향상: DSpark 검증 및 MoE 커널 최적화DeepSeek-V4.1 모델의 DSpark 검증 및 MoE 커널 최적화를 통해 추론 성능을 크게 향상시킨 PR 분석#AI#LLM#최적화#성능#DeepSeek#SGLang2026년 9월 10일댓글 수 로딩 중
[onnxruntime] ONNX Runtime: INT4 Paged KV Cache 도입을 통한 메모리 최적화INT4 Paged KV Cache를 도입하여 LLM의 긴 컨텍스트 처리 시 메모리 사용량을 절반으로 줄이고 성능을 극대화했습니다.#ONNX Runtime#CUDA#LLM#Optimization#Quantization2026년 9월 10일댓글 수 로딩 중
[논문리뷰] X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation본 연구는 Speech LLM의 추론 효율성을 높이기 위해 오디오 인코더의 레이어를 직접 제거할 때 발생하는 성능 저하 문제를 해결하고자 합니다.#Review#Speech LLMs#Audio-Encoder Compression#Cross-Scale Distillation#Progressive Pruning#Transcript-Consistency Filtering#LoRA Finetuning2026년 9월 10일댓글 수 로딩 중
[논문리뷰] World in World: Explore the World with World Models본 논문은 사전 학습된(frozen) Causal Video World Models를 재학습 없이도 자유롭고 정교하게 제어할 수 있는 통합 인터페이스를 제공하고자 합니다 .#Review#World Models#Video Generation#Visual-Evidence Interface#Training-free#Self-Attention#Camera Control2026년 9월 10일댓글 수 로딩 중
[논문리뷰] UniH^3: Unifying Hierarchical Homogeneity and Heterogeneity for All-in-One Medical Image Restoration본 논문은 기존 All-in-One 의료 영상 복원(MedIR) 모델들이 데이터의 이질성(heterogeneity) 모델링에만 치중하고 의료 영상 내의 구조적 동질성(homogeneity)을 간과하고 있다는 문제점을 지적합니다.#Review#Medical Image Restoration#All-in-One#Universal Model#Hierarchical Homogeneity#Hierarchical Heterogeneity#Memory Network#Attention Mechanism2026년 9월 10일댓글 수 로딩 중
[논문리뷰] SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem본 논문은 LVLM(Large Vision-Language Model)이 2D 이미지로부터 3D 구조를 추론하는 공간 지능이 부족하다는 점을 해결하고자 한다. 기존 연구들은 실제 장면(real-scene)에 대한 dense한 기하학적 주석(annotation)에 의존하여 확장성이 낮고 비용이 많이 드는 한계가 있다 .#Review#Spatial Intelligence#LVLM#Block-Stacking#Synthetic Dataset#Spatial Reasoning#Anchor-based Reasoning#Reinforcement Learning2026년 9월 10일댓글 수 로딩 중
[논문리뷰] SenseNova-U1.5: Towards Native Unified Visual Intelligence본 논문은 기존의 복합적 비전 생성 시스템이 가진 아키텍처 분리 문제를 해결하고자 합니다. 대부분의 모델은 Vision Encoder와 VAE를 각각 사용하여 인지 영역과 생성 영역을 분리하는데, 이는 정보의 왜곡과 효율성 저하를 초래합니다.#Review#Native Unified Multimodal Model#Encoder-free#VAE-free#Flow Matching#On-Policy Distillation#Mixture-of-Transformers#Spatial Reconstruction2026년 9월 10일댓글 수 로딩 중
[논문리뷰] Recursive Code World Models: Building Complex Worlds through Recursive Scene Programs본 논문은 단일 2D 이미지로부터 3D 월드를 실행 가능한 코드로 재구성할 때 발생하는 복잡성 관리 문제를 해결하고자 합니다. 기존의 코드 기반 재구성 방식은 단일 trajectory 내에서 전체 구조를 해결하려 시도하므로, 대규모 환경의 세부 사항을 놓치거나 구성요소 간의 공간적 충돌을 빈번하게 유발합니다 .#Review#Recursive Code World Models#Recursive Scene Programs#Image-to-3D#Vision-Language Agent#Procedural Generation2026년 9월 10일댓글 수 로딩 중
[논문리뷰] Negative Self-Distillation: Learning to Reason by Avoiding Flaws본 논문은 기존 On-Policy Self-Distillation (OPSD) 패러다임이 Large Language Models (LLMs)의 복잡한 추론 task 성능을 저하시키는 문제를 해결하고자 Negative Self-Distillation (NSD)를 제안합니다.#Review#Negative Self-Distillation#LLM Reasoning#Unlikelihood Training#Self-Bootstrapped Learning#Mathematical Reasoning#Adaptive Gating#Reflection2026년 9월 10일댓글 수 로딩 중
[논문리뷰] NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction본 논문은 표준적인 NTP가 semantic structure를 학습하는 데 있어 간접적인 supervision에 의존한다는 점을 극복하기 위해 latent-space 기반의 모델을 제안합니다.#Review#Language Modeling#Latent Space#Next Concept Prediction#Product Quantization#Hierarchical Residual#Foundation Model2026년 9월 10일댓글 수 로딩 중
[논문리뷰] Mi-Ripple: Restoring Images Degraded by Iterative AI Editing본 논문은 반복적인 reference-conditioned AI image editing이 이미지 전반에 걸쳐 유발하는 Digital Ripple 현상을 해결하고자 한다 .#Review#image restoration#iterative reference-conditioned image editing#structure-aware filtering#digital ripple#spectral analysis#AI-generated images2026년 9월 10일댓글 수 로딩 중
[논문리뷰] MetroLLM-Bench: Evaluating Language Models as Transit Kiosk Runtimes본 논문은 transit kiosk의 정책 레이어로서 언어 모델을 도입할 때 발생하는 운영적 한계를 평가하고 해결하는 것을 목표로 한다.#Review#MetroLLM-Bench#Transit Kiosk Runtimes#Parameter-Efficient Fine-Tuning (PEFT)#Qwen#ReAct#Function Calling#Benchmark2026년 9월 10일댓글 수 로딩 중
[논문리뷰] Memory as Plans: World-Action Modeling with Memory-Grounded Planning본 연구는 복잡한 real-world robotic manipulation tasks가 본질적으로 non-Markovian하며, 현재 observation을 넘어선 long-horizon memory를 요구한다는 문제에 직면한다.#Review#Robotic Manipulation#Long-Horizon Memory#Memory-Grounded Planning#Plan-Conditioned Execution#World-Action-Progress Model#Inference Efficiency#Multimodal Episodic Context#Progress Calibration2026년 9월 10일댓글 수 로딩 중