[sglang] SGLang의 Session-Aware Unified Radix Cache를 통한 추론 성능 최적화멀티턴 에이전트 워크로드에서 세션 기반 KV 캐시 보호를 통해 재계산을 줄이고 처리량을 극대화하는 최적화 기법을 소개합니다.#SGLang#LLM#KV Cache#Radix Cache#Performance Optimization2026년 8월 2일댓글 수 로딩 중
[sglang] sglang, MoE 모델 로딩 속도 5.6배 향상: mmap 뷰 최적화 분석sglang에서 MoE 모델 로딩 시 발생하는 병목 현상을 해결하여 로딩 속도를 획기적으로 개선한 PR을 분석합니다.#sglang#MoE#최적화#성능 개선#모델 로딩#AMD GPU2026년 8월 2일댓글 수 로딩 중
[sglang] SGLang, KV VMM 할당자 스텁 최적화를 통한 시작 시간 및 라이브러리 크기 대폭 개선SGLang의 KV VMM 할당자 스텁 빌드 시 불필요한 PyTorch 헤더 포함을 제거하여 시작 시간과 라이브러리 크기를 획기적으로 줄였습니다.#SGLang#최적화#성능#PyTorch#C++#빌드 시스템2026년 8월 1일댓글 수 로딩 중
[sglang] MiniMax-M3 모델을 위한 FP8 Attention GEMM 최적화 및 성능 개선MiniMax-M3 모델의 FP8 Attention GEMM을 SM100 아키텍처에서 최적화하여 프리필 성능을 최대 66% 향상시켰습니다.#SGLang#FP8#Attention#CUDA#Optimization2026년 8월 1일댓글 수 로딩 중
[sglang] DeepSeek-V4 Flash 공식 모델 최적화: H200 및 B200을 위한 SGLang 서빙 전략SGLang v0.5.16에서 DeepSeek-V4 Flash 공식 모델의 H200/B200 최적화 설정과 검증된 벤치마크 결과를 분석합니다.#SGLang#DeepSeek-V4#H200#B200#LLM-Serving#Optimization2026년 8월 1일댓글 수 로딩 중
[onnxruntime] ONNX Runtime의 FP4/FP8 GEMV 커널 최적화: Tensor Core와 M-Tiling을 통한 성능 극대화ONNX Runtime의 FP4/FP8 GEMV 커널에 Tensor Core 활용 및 M-tiling을 도입하여 추론 성능을 최대 5배 향상시켰습니다.#ONNX Runtime#CUDA#GEMV#Tensor Core#FP4#FP8#LLM2026년 8월 1일댓글 수 로딩 중
[sglang] SGLang Diffusion: 2-rank Ulysses를 위한 CUDA-IPC 기반 Zero-Staging All-to-All 최적화2-rank Ulysses 환경에서 NCCL 대신 CUDA-IPC를 사용하여 데이터 복사 오버헤드를 제거하고 전체 성능을 약 10% 향상시킨 최적화 사례.#SGLang#CUDA#NCCL#Ulysses#Performance2026년 7월 31일댓글 수 로딩 중
[flashinfer] FlashInfer FP8 Causal Attention 최적화: O(1) 디코딩과 글로벌 스케줄링의 힘FlashInfer의 FP8 FMHA v2 커널에서 배치 크기가 클 때 발생하는 병목을 O(1) 디코딩과 글로벌 큐 타일 재배치로 해결하여 최대 5.6x 성능 향상을 달성했습니다.#CUDA#LLM#FlashInfer#Performance#Optimization#FP82026년 7월 31일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU EP: 디바이스 없는 오프라인 컴파일 지원WebGPU EP에서 하드웨어 없이 모델을 최적화하고 직렬화할 수 있는 'Compile-only' 세션 모드를 구현하여 보안 및 샌드박스 환경을 지원합니다.#ONNXRuntime#WebGPU#Optimization#Compiler#Security2026년 7월 31일댓글 수 로딩 중
[vllm] vLLM DeepSeek-V4 성능 최적화: Eager Break 시 Workspace 재사용 개선vLLM DeepSeek-V4 모델에서 Eager Break 시 Workspace 재사용을 최적화하여 TTFT를 3.9% 개선한 PR 분석#vLLM#DeepSeek-V4#성능 최적화#Eager Break#Workspace Reuse#CUDA Kernel2026년 7월 31일댓글 수 로딩 중
[sglang] [성능 최적화] 불필요한 Tree Mask Fill 제거를 통한 Speculative Decoding 가속화SGLang의 Speculative Decoding 과정에서 매 단계 발생하는 대규모 메모리 초기화(memset) 오버헤드를 제거하여 추론 속도를 개선한 PR을 분석합니다.#SGLang#Speculative Decoding#Performance Optimization#PyTorch#LLM Inference2026년 7월 30일댓글 수 로딩 중
[vllm] vLLM DeepSeek-V4 성능 최적화: 불필요한 torch.full 커널 제거로 1.88배 속도 향상DeepSeek-V4의 combine_topk_swa_indices 연산에서 out 텐서를 재사용하여 불필요한 메모리 할당 및 커널 호출을 제거하고 성능을 1.88배 개선했습니다.#vLLM#DeepSeek-V4#CUDA#Performance#Optimization2026년 7월 30일댓글 수 로딩 중
[vllm] vLLM DeepSeek V4 모델의 불필요한 메모리 할당 및 복사 최적화 분석vLLM DeepSeek V4 모델에서 MTP 미사용 시 불필요한 메모리 할당 및 복사를 제거하여 성능을 개선한 PR 분석#vLLM#DeepSeek V4#최적화#메모리 관리#성능 개선2026년 7월 30일댓글 수 로딩 중
[vllm] vLLM 컴파일 최적화: Transformers 모델을 위한 FusedAddRMSNorm 도입Transformers 모델의 잔차 연결과 RMSNorm을 융합하여 메모리 접근을 줄이고 추론 성능을 최대 18% 향상시키는 최적화 기법을 소개합니다.#vLLM#LLM#Compiler#Optimization#PyTorch#Transformers2026년 7월 30일댓글 수 로딩 중
[논문리뷰] β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation본 논문은 기존의 OPSD가 가지는 취약성과 엔지니어링의 어려움을 해결하는 것을 목표로 합니다. 기존 연구들은 학생 모델이 Privileged Teacher를 직접 모방하도록 강제하며, 학습 과정에서 Reference Policy로부터 얼마나 멀어져야 하는지에 대한 명확한 제어 메커니즘을 제공하지 못합니다 .#Review#On-policy Self-distillation#Policy Optimization#KL-regularization#Logit Interpolation#Return-to-go Credit Assignment2026년 7월 30일댓글 수 로딩 중
[논문리뷰] Σ-Mem: An Online Reliability Memory for LLM-based Multi-Agent Systems본 연구는 LLM 기반의 Multi-Agent Systems (MAS)에서 중앙 모델이 각 peer의 응답 신뢰성을 직접 검증하기 어렵다는 근본적인 문제를 해결하고자 합니다.#Review#Multi-Agent Systems#LLM#Online Reliability Memory#Spectral Adaptation#Competence Modeling#Peer Relationship2026년 7월 30일댓글 수 로딩 중
[논문리뷰] VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System본 논문은 기존의 text-to-video 모델들이 텍스트 프롬프트에 내재된 복잡한 물리적 과정을 암시적으로 추론해야 하는 Causal Opacity 문제로 인해 물리적으로 일관된 동역학을 생성하지 못하는 한계를 해결하고자 합니다.#Review#Video Generation#Physical Consistency#Chain-of-Thought#Agentic Systems#Executable Code2026년 7월 30일댓글 수 로딩 중
[논문리뷰] SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them일반적인 Vision-Language Models(VLMs)는 전반적인 과업 수행에는 능숙하나, 공간적 관계나 미세한 시각적 세부 사항을 파악하는 능력은 부족하다는 근본적인 문제가 존재한다.#Review#Vision-Language Models#Spatial Reasoning#Tool-Augmented Agents#Capability Internalization#Embodied AI#Agentic Reinforcement Learning2026년 7월 30일댓글 수 로딩 중
[논문리뷰] ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow본 논문은 interactive video world models에서 보편적이면서도 정밀한 action 제어가 어렵다는 난제를 해결합니다.#Review#Video World Models#Shadow Learning#Cross-shadow Prediction#Latent Action Models#Interactive Generation#Dynamics Representation2026년 7월 30일댓글 수 로딩 중
[논문리뷰] See2Think: Do Multimodal Models Really Use Intermediate Visual States?본 논문은 Multimodal Large Language Models(MLLMs)가 추론 과정에서 생성하는 중간 시각적 상태가 실제로 문제 해결에 기여하는지 검증하는 것을 목표로 한다.#Review#Multimodal Large Language Models#Chain-of-Thought#Visual Reasoning#Evaluation Framework#Intermediate Visual States#Visual Action-of-Thought2026년 7월 30일댓글 수 로딩 중