[sglang] H200 GPU에서 GLM-5.2 MoE를 위한 W4A8 GEMM 커널 최적화 분석SGLang에서 H200 GPU를 위한 GLM-5.2 MoE 모델의 W4A8 GEMM 커널을 최적화하여 최대 1.23배의 속도 향상을 달성한 PR 분석.#SGLang#GPU 최적화#CUTLASS#MoE#W4A8#H200#GLM-5.2#성능 튜닝#CUDA2026년 9월 19일댓글 수 로딩 중
[sglang] ROCm 환경에서 SGLang HiCache JIT 전송 커널 최적화 및 유연성 개선ROCm 환경에서 MLA fp8 등 다양한 데이터 크기를 지원하기 위해 HiCache JIT 커널의 복사 단위를 세분화하고 호스트 풀 접근성을 개선했습니다.#SGLang#ROCm#JIT#KernelOptimization#HPC2026년 9월 19일댓글 수 로딩 중
[vllm] NVIDIA RTX PRO 6000 GPU에서 VLLM의 행렬 곱셈 성능 최적화: sm120 아키텍처 지원 추가NVIDIA RTX PRO 6000 GPU의 sm120 아키텍처를 위한 VLLM 행렬 곱셈 커널 최적화로 성능 향상.#VLLM#NVIDIA#GPU#Optimization#Performance#Deep Learning#LLM#Kernel Tuning2026년 9월 19일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 성능 최적화: mHC 및 메타데이터 오버헤드 개선 분석DeepSeek-V4.1의 MoE 및 추론 파이프라인에서 mHC, 메타데이터, 라우터 오버헤드를 최적화하여 5% 이상의 처리량 향상을 달성했습니다.#DeepSeek-V4#SGLang#GPU Optimization#CUDA#MoE2026년 9월 19일댓글 수 로딩 중
[sglang] [DeepSeek-V4.1] Blackwell(SM100) 성능의 한계를 끌어올리는 Fused WO-A 커널 최적화 분석DeepSeek-V4.1 모델의 디코드 성능을 3% 향상시킨 Blackwell 전용 Inverse-RoPE + WO-A + MXFP8 퓨즈드 커널 최적화 기법을 분석합니다.#DeepSeek-V4#Blackwell#CUDA#PTX#Kernel-Fusion#LLM-Optimization2026년 9월 19일댓글 수 로딩 중
[flashinfer] FlashInfer, 최신 GPU 아키텍처를 위한 커널 튜닝으로 성능 극대화FlashInfer가 최신 GPU 아키텍처(SM100/103/107)에 맞춰 커널 튜닝을 통해 qk_rmsnorm 및 fused_add_rmsnorm_quant 성능을 개선했습니다.#GPU#최적화#성능#CUDA#FlashInfer#딥러닝2026년 9월 18일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA 데이터 로딩 최적화: Pinned Buffer와 병렬 I/O를 통한 성능 개선CUDA 외부 데이터 로딩 시 Pinned Buffer와 병렬 읽기를 도입하여 모델 로딩 속도를 최대 29.8% 향상시킨 최적화 기법을 분석합니다.#ONNX Runtime#CUDA#Performance Optimization#Pinned Memory#Parallel I/O2026년 9월 18일댓글 수 로딩 중
[sglang] AMD MI355X에서 GLM-5.2 성능 극대화하기: 왜 다시 HIP Top-K인가?SGLang이 AMD MI355X 환경에서 GLM-5.2 모델의 P90 지연시간을 10% 개선하기 위해 Top-K 구현체를 최적화한 사례를 분석합니다.#AMD#ROCm#MI355X#SGLang#Top-K#Optimization#LLM2026년 9월 18일댓글 수 로딩 중
[onnxruntime] ONNX Runtime의 RISC-V RVV 커널 최적화: 추론 성능 극대화RISC-V Vector(RVV) 확장을 활용하여 Softmax, Convolution, Activation 연산을 최적화하고 추론 속도를 최대 3배 향상시킨 사례 분석.#ONNX Runtime#RISC-V#RVV#Performance Optimization#Inference2026년 9월 17일댓글 수 로딩 중
[onnxruntime] ONNX Runtime MoE 최적화: QMoE CPU GEMM 성능 대폭 향상ONNX Runtime에서 MoE 모델의 CPU 추론 성능을 획기적으로 개선하는 최적화 기법을 소개합니다.#ONNX Runtime#MoE#CPU 최적화#GEMM#양자화2026년 9월 17일댓글 수 로딩 중
[sglang] SGLang의 새로운 캐시 전략: T-LRU로 에이전트 워크로드의 TTFT 최적화하기T-LRU(Tail-Optimized LRU) 도입을 통해 에이전트 환경에서 TTFT를 개선하고 캐시 효율을 극대화하는 방법을 분석합니다.#SGLang#LLM#Caching#Performance#Optimization2026년 9월 17일댓글 수 로딩 중
[논문리뷰] When2Think: Learning Difficulty-Aware Length Control for Efficient Hybrid Reasoning Models본 논문은 대형 추론 모델(LRMs)에서 발생하는 인지적 불균형인 Overthinking과 Underthinking 문제를 해결하고자 합니다.#Review#Hybrid Reasoning#Instance-Adaptive Computation#Reinforcement Learning#Reasoning Depth Control#Efficiency Tax#Large Reasoning Models (LRMs)2026년 9월 17일댓글 수 로딩 중
[논문리뷰] When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation본 논문은 On-policy distillation 과정에서 발생하는 심각한 Length Inflation 현상의 원인을 규명하고 이를 완화하는 것을 목표로 합니다 .#Review#On-Policy Distillation#Length Inflation#Termination-Token Mismatch#Semantic EOS Aggregation#LLM Post-training#Generation Pathology2026년 9월 17일댓글 수 로딩 중
[논문리뷰] What Does Privileged Information Add to On-Policy Self-Distillation?본 연구는 OPSD 과정에서 Teacher에게 제공되는 Privileged Information이 실제로 distillation 그 이상의 추가적인 학습 이득을 제공하는지, 그 기여도를 명확히 분리하고자 합니다.#Review#On-policy Self-distillation#Privileged Information#Language Model#Reasoning#AMPLE-Math#Knowledge Distillation#Training Dynamics2026년 9월 17일댓글 수 로딩 중
[논문리뷰] WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing본 논문은 기존 document parser들이 방대한 데이터에도 불구하고 여전히 다양한 문서 레이아웃과 열화(Degradation) 조건에서 구조적, 의미적 오류를 범한다는 문제점을 해결하고자 합니다 .#Review#Document Parsing#End-to-End#Data-Centric Framework#Model-Aware Refinement#Visual-Structural Degradation#Supervised Training#OmniDocBench2026년 9월 17일댓글 수 로딩 중
[논문리뷰] VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering본 연구는 텔루구어 Spoken Question Answering (SQA) 분야의 벤치마크 부재와 자동 평가의 신뢰성 문제를 해결하고자 합니다. 기존 Question Answering (QA) 연구는 주로 영어와 같은 고자원 언어에 집중되어 있으며, 텔루구어 SQA 벤치마크는 거의 탐색되지 않았습니다.#Review#Spoken Question Answering#Telugu#Low-resource Languages#Benchmark#LLM-as-a-judge2026년 9월 17일댓글 수 로딩 중
[논문리뷰] Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation본 논문은 긴 시공간 토큰 시퀀스를 처리하는 비디오 생성 모델에서 Softmax attention이 차지하는 높은 연산 비용 문제를 해결하고자 합니다. 기존의 Dense Softmax는 시퀀스 길이에 따라 연산량이 이차함수적으로 증가하여 대규모 비디오 생성을 저해하는 주요 병목이 됩니다.#Review#Video Generation#Hybrid Attention#Linear Attention#Delta Rule#Diffusion Transformers#Efficient Inference#Distillation2026년 9월 17일댓글 수 로딩 중
[논문리뷰] VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control기존 연구들은 공간 추론(spatial reasoning), 조작 실행(manipulation execution), 또는 능동적 지각(active perception)을 개별적으로 평가하는 경향이 있었지만, 실제 Embodied AI 에이전트는 이 모든 능력을 통합하여 observe–reason–act–revise 루프를 닫아야 한다.#Review#Embodied AI#Spatial Intelligence#MLLMs#Robot Manipulation#Active Perception#Benchmarking#Metric Control#Demonstration Learning2026년 9월 17일댓글 수 로딩 중
[논문리뷰] UFO: Chain-of-Evaluation for Omni-Condition Alignment in Multi-Modal Image Generation본 논문은 기존의 멀티모달 이미지 생성 모델 평가 방식이 모델의 실제 성능과 인간의 판단을 제대로 반영하지 못하는 'isolated evaluation'의 한계에 봉착했음을 지적합니다.#Review#Multi-modal Image Generation#Subject-driven Customization#Evaluation Metric#Chain-of-Evaluation#Atomic Evaluation Units (AEUs)#Omni-condition Alignment2026년 9월 17일댓글 수 로딩 중
[논문리뷰] Srijika: OpenType-Layout-Reusing Font Restyling for Nine Indic Scripts본 논문은 9개의 Brahmic scripts(Devanagari, Tamil, Bengali 등)를 대상으로 설치 가능한 OpenType 폰트를 생성하는 시스템인 Srijika를 제안한다.#Review#Brahmic Scripts#Font Restyling#OpenType#Glyph Diffusion#Template Replacement2026년 9월 17일댓글 수 로딩 중