[vllm] vLLM Qwen3-VL 멀티 비디오 프롬프트 처리 최적화 분석텍스트 기반 프롬프트 확장 방식을 토큰 수준 치환으로 변경하여 성능 향상 및 EVS 버그를 해결했습니다.#vLLM#Qwen3-VL#Optimization#LLM#Multimodal2026년 6월 20일댓글 수 로딩 중
[axolotl] Axolotl, Marlin W4A16 도입으로 MoE 모델 추론 속도 1.79배 향상 및 품질 개선Axolotl이 Marlin W4A16 백엔드를 도입하여 MoE 모델의 추론 속도를 1.79배 높이고, 활성화 양자화 오류를 제거하여 모델 품질을 향상시켰습니다.#Axolotl#Marlin#MoE#DeepSeek-V4#W4A16#BF16#Quantization#Optimization#Deep Learning#LLM2026년 6월 20일댓글 수 로딩 중
[sglang] SGLang: AMD GPU 환경에서의 DeepSeek-V4 성능 최적화 분석AMD GPU 환경에서 MLA GEMM 및 RoPE 연산을 최적화하여 추론 성능을 최대 8.8% 향상시킨 사례 분석#SGLang#AMD#DeepSeek-V4#Triton#GEMM#RoPE2026년 6월 20일댓글 수 로딩 중
[sglang] SGLang LTX-2 최적화: LoRA 병합 오버헤드 제거를 통한 추론 성능 향상LTX-2 모델의 stage-1 distilled LoRA를 베이스 모델에 사전 병합하여, 요청마다 발생하는 병합/해제 오버헤드를 제거했습니다.#SGLang#LTX-2#LoRA#Optimization#Inference2026년 6월 19일댓글 수 로딩 중
[sglang] LTX-2 모델 성능 최적화: NPU 및 GPU에서의 지연 시간 단축 분석LTX-2 모델의 E2E 지연 시간을 NPU에서 27%, GPU에서 3% 단축한 코드 변경 분석.#sglang#LTX-2#성능 최적화#NPU#GPU#RMSNorm#FlashAttention2026년 6월 19일댓글 수 로딩 중
[cpython] CPython의 PyCriticalSection2 최적화: 중복 락 획득 방지CPython의 PyCriticalSection2에서 이미 획득한 락을 재귀적으로 다시 획득하지 않도록 최적화하여 성능을 개선했습니다.#CPython#Concurrency#Optimization#Locking#Internals2026년 6월 19일댓글 수 로딩 중
[cpython] CPython 3.14: PyCriticalSection2의 동일 락 재획득 방지 최적화 분석CPython 3.14에서 PyCriticalSection2의 동일 락 재획득 방지 최적화 분석 및 그 의미를 살펴봅니다.#Python#CPython#Optimization#Concurrency#Critical Section2026년 6월 19일댓글 수 로딩 중
[triton] Triton Autotuner 최적화: Pruned Config가 하나일 때 불필요한 벤치마크 생략하기Triton Autotuner에서 설정이 하나로 압축될 경우, 불필요한 벤치마킹 과정을 건너뛰어 성능을 개선한 사례를 분석합니다.#Triton#Autotuner#Performance#Optimization#Compiler2026년 6월 18일댓글 수 로딩 중
[ray] Ray RLlib의 비동기 학습 성능 최적화: PULL 기반 EnvRunnerStateServer 도입RLlib의 비동기 알고리즘(IMPALA, APPO)에서 가중치 동기화 방식을 PUSH에서 PULL 모델로 전환하여 오프폴리시 지연을 20% 개선했습니다.#Ray#RLlib#ReinforcementLearning#DistributedSystems#PerformanceOptimization2026년 6월 18일댓글 수 로딩 중
[vllm] vLLM Mooncake KV 오프로딩 최적화: 불필요한 KV 조회 건너뛰기vLLM의 Mooncake KV 오프로딩 성능 향상: 불필요한 KV 조회 건너뛰고 스토리지 오버헤드 감소#vLLM#LLM#KV Cache#Optimization#Performance2026년 6월 18일댓글 수 로딩 중
[sglang] Mamba GDN의 컨볼루션 캐시 최적화: 메모리 사용량 절반으로 줄이기Mamba 및 GDN 모델에서 컨볼루션 캐시 메모리 사용량을 절반으로 줄이는 최적화 기법을 소개합니다.#Mamba#GDN#최적화#메모리 관리#SGLang2026년 6월 18일댓글 수 로딩 중
[sglang] SGLang의 Linear-Attention 성능 최적화: int8 체크포인트 풀 도입Linear-attention 모델의 Radix 캐시 효율을 int8 양자화로 2배 높여, 메모리 제약 없이 더 많은 프리픽스를 재사용하는 최적화 기법.#SGLang#Linear-Attention#Optimization#Quantization#LLM2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Understanding the Behaviors of Environment-aware Information Retrieval본 논문은 다양한 Retriever 환경에서 LLM이 범용적인 쿼리 방식만을 사용하는 것이 비효율적이라는 문제 의식에서 출발합니다.#Review#Retrieval-Augmented Generation (RAG)#Reinforcement Learning (RL)#Query Formulation#Retriever-aware#Structural Drift#Branching Rollout#Group Relative Policy Optimization (GRPO)2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Thinking with Visual Grounding본 논문은 기존 VLM(Vision-Language Model)의 추론 과정이 언어적 논리에는 치중되어 있으나, 정작 그 논리의 근거가 되는 이미지 내 특정 영역을 명시하지 않아 검증이 어렵다는 문제를 해결하고자 합니다.#Review#Visually Grounded Thinking#Vision-Language Models#Reinforcement Learning#Visual Grounding#SAM3#Spatial Reasoning2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation본 논문은 하이브리드 모델로의 전환 시 발생하는 부적절한 재귀적 파라미터 초기화 문제를 해결하고자 합니다. 기존 연구들은 Transformer의 가중치를 복사하는 데 집중하지만, 새롭게 도입되는 GDN의 동역학(decay, gate 등)을 고려하지 않아 초기 모델이 최적화되지 않은 상태에서 학습을 시작하게 됩니다 .#Review#Hybrid Linear Attention#Gated DeltaNet#Model Distillation#Initialization#Softmax Attention#Knowledge Distillation#Recurrent Dynamics2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Selective Synergistic Learning for Video Object-Centric Learning본 논문은 기존 VOCL 연구에서 encoder와 decoder 사이의 구조적 비대칭성으로 인해 발생하는 학습 불안정성과 정보 정렬의 비효율성을 해결합니다.#Review#Video Object-Centric Learning#Selective Distillation#Pseudo-labeling#Transitive Merging#Slot Attention#Encoder-Decoder Alignment2026년 6월 18일댓글 수 로딩 중
[논문리뷰] S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence본 논문은 기존 VLM들이 정적인 단일 프레임 관찰에 의존하여 연속적이고 진화하는 3D 환경에서의 공간 추론에 한계를 보인다는 점을 해결하고자 합니다 . 기존 모델들은 파편화된 2D 시각 정보에 의존하기 때문에 공간적 일관성(spatial consistency) 유지와 고도화된 3D 기하학적 이해가 어렵습니다.#Review#Spatial Intelligence#Vision-Language Models (VLM)#Agentic Paradigm#Spatio-Temporal Reasoning#Tool-Use#Spatial Evidence Accumulation2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe본 논문은 LLM pretraining에서 FP4 사용 시 관찰되는 훈련 불안정성의 근본 원인으로 E2M1 포맷의 기하학적 결함을 지목합니다. 기존 연구들은 이상치 처리를 위해 RHT를 사용하지만, 이는 텐서의 분포를 비대칭적인 E2M1 빈으로 집중시켜 오히려 양자화 품질을 저하시키는 결과를 초래합니다 .#Review#FP4#Shrinkage Bias#E2M1#E1M2#Random Hadamard Transform#LLM Pretraining#Quantization2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Playful Agentic Robot Learning본 논문은 기존의 Code-as-Policy 시스템이 외부 명령에 의존하는 Task-driven 방식으로 작동하여, 실제 작업이 주어지기 전에는 재사용 가능한 Skill을 습득하지 못한다는 한계를 해결하고자 한다.#Review#Learning through Play#Agentic Robotics#Continual Skill Learning#Code-as-Policy#Robot Manipulation2026년 6월 18일댓글 수 로딩 중
[논문리뷰] No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages본 연구는 LLM의 코드 생성 능력이 학습 데이터가 풍부한 High-Resource 언어에 편중되어, 신생 기업에서 사용하는 No-Resource 언어에 대한 지원이 전무하다는 점을 해결하고자 한다.#Review#Large Language Models#Code Generation#No-Resource Languages#Benchmark#Fine-Tuning#Pre-training2026년 6월 18일댓글 수 로딩 중