[sglang] QKNorm Across Heads CUDA 커널 최적화: Q/K 분리로 레지스터 압력 해소SGLang의 qknorm_across_heads CUDA 커널에서 Q와 K를 하나의 블록에서 동시 처리하던 방식을 2D grid로 분리하여 레지스터 사용량과 shared memory를 절반으로 줄인 최적화 분석.#SGLang#CUDA#Kernel Optimization#RMSNorm#Diffusion#GPU2026년 3월 27일댓글 수 로딩 중
[llm-compressor] iMatrix Weighted MSE Observer - 중요도 행렬 기반 양자화Importance Matrix(iMatrix)를 활용한 가중 MSE observer로 중요 가중치의 양자화 정밀도를 우선 보존#llm-compressor#Performance2026년 3월 27일댓글 수 로딩 중
[CPython 3.13] pickle fast_save_enter() 테스트 정리 (backport)pickle 모듈의 fast_save 테스트에서 불필요한 dict wrapper와 seed 매개변수를 제거한 3.13 backport 분석.#CPython#pickle#Testing#Backport#Refactoring#Python2026년 3월 27일댓글 수 로딩 중
[Ray Data] PyArrow 스키마 해싱 방식 개선으로 대규모 데이터셋 성능 향상Ray Data의 RefBundle에서 PyArrow 스키마의 전체 동등성 비교와 해싱을 객체 ID 기반으로 변경하고, 대규모 입력 파일 목록이 DatasetStats에 전파되는 것을 방지한 PR을 분석합니다.#Ray#Ray Data#Performance#PyArrow#Hashing#Schema2026년 3월 27일댓글 수 로딩 중
[triton] MMAv2 dot에 Prefetch 재활성화 - 루프 프롤로그 분리 방식으로 재설계Triton의 MMAv2 dot 연산에 대한 prefetch 최적화를 루프 프롤로그 분리 방식으로 재설계하여 재활성화한 PR을 분석합니다.#Triton#NVIDIA#Prefetch#MMAv2#Pipeline2026년 3월 27일댓글 수 로딩 중
[Ray Data] _map_task 공통 인자 캐싱으로 직렬화 오버헤드 절감map_transformer와 data_context를 ObjectRef로 캐싱하여 태스크 제출 가속#Ray#Serialization#Object Store#Performance2026년 3월 27일댓글 수 로딩 중
[CPython] pickle fast_save_enter() 테스트 정리 및 불필요한 wrapper 제거pickle 모듈의 fast_save 관련 테스트에서 불필요한 dict wrapper를 제거하고 deep_nested_struct의 seed 매개변수를 제거하여 테스트를 단순화한 분석.#CPython#pickle#Testing#Refactoring#Python2026년 3월 26일댓글 수 로딩 중
[sglang] flush_cache 단순화: 동시 요청 거부와 클라이언트 재시도 제거SGLang의 flush_cache를 Deque 기반 다중 요청 큐에서 Optional 단일 요청으로 단순화하고, 서버 측 timeout과 명확한 에러 메시지를 도입한 리팩토링 분석.#SGLang#Cache Management#API Design#Simplification#Concurrency2026년 3월 26일댓글 수 로딩 중
[sglang] CI 버그 수정: /rerun-ut 동시 실행 시 중복 워크플로우 URL 문제 해결SGLang CI에서 /rerun-ut 커맨드를 동시에 여러 개 실행할 때 잘못된 워크플로우 URL이 게시되는 버그를 run-name에 test_command를 포함시켜 수정한 분석.#SGLang#CI#GitHub Actions#Bug Fix#Workflow2026년 3월 26일댓글 수 로딩 중
[논문리뷰] Voxtral TTSNatural하고 Expressive한 Text-to-Speech (TTS)는 유연한 Human-Computer Interaction의 중요한 요소이며, 가상 비서, 오디오북, 접근성 도구 등 다양한 Application에 활용됩니다.#Review#Text-to-Speech#Zero-shot Voice Cloning#Hybrid Architecture#Speech Codec#Flow-Matching#Direct Preference Optimization#Finite Scalar Quantization#Multilingual TTS2026년 3월 26일댓글 수 로딩 중
[논문리뷰] Vega: Learning to Drive with Natural Language Instructions기존 자율주행 시스템은 주로 Perception, Prediction, Planning의 모듈형 파이프라인을 따르며, 이는 고비용의 3D annotation에 크게 의존하여 실제 적용에 한계가 있습니다.#Review2026년 3월 26일댓글 수 로딩 중
[논문리뷰] SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks기존 Coding Agent Benchmark 들은 압도적으로 Single-shot Solutions 을 Complete Specification에 대해 평가하고 있으며, 이는 Agent가 현재 Specification 에 대한 Correct Code 를 생성할 수 있는지 여부만을 측정한다.#Review#SlopCodeBench#Coding Agents#Iterative Development#Code Quality#Structural Erosion#Verbosity#Benchmarking#Long-Horizon Tasks2026년 3월 26일댓글 수 로딩 중
[논문리뷰] S2D2: Fast Decoding for Diffusion LLMs via Training-Free Self-Speculation최근 언어 모델링 분야에서 큰 발전을 이끈 Autoregressive (AR) 모델들은 엄격한 좌-우향 생성 방식 때문에 디코딩 유연성과 추론 병렬성에서 한계를 가진다.#Review#Diffusion LLMs#Self-Speculation#Training-Free#Block-Diffusion#Fast Decoding#Rejection Sampling#Routing Policies2026년 3월 26일댓글 수 로딩 중
[논문리뷰] Revisiting On-Policy Distillation: Empirical Failure Modes and Simple FixesLarge Language Model (LLM)의 Post-training에 있어 On-policy Distillation (OPD)은 student-generated rollouts에 대한 teacher feedback을 활용하기 때문에 매력적이다.#Review#On-policy Distillation#LLM Post-training#Sampled-token OPD#Variance Reduction#Local Support Matching#Truncated Reverse-KL#Top-p Rollout Sampling#Special Token Masking2026년 3월 26일댓글 수 로딩 중
[논문리뷰] Representation Alignment for Just Image Transformers is not Easier than You ThinkRepresentation Alignment (REPA)는 Latent Space Diffusion Transformer의 학습을 가속화하는 효과적인 방법으로 제시되었으나, Just Image Transformers (JiT)와 같은 Pixel-space Diffusion 모델에 이를 적용할 경우 오히려 성능 저하를 야기합니다.#Review#Representation Alignment#Pixel-space Diffusion#Just Image Transformers#Feature Hacking#Masked Transformer Adapter#Diffusion Models#Image Generation2026년 3월 26일댓글 수 로딩 중
[논문리뷰] RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing ModelsReal-world Degradation 상황에서의 Image Restoration은 자율 주행(Autonomous Driving) 및 객체 탐지(Object Detection)와 같은 Downstream Task에 필수적이다.#Review#Image Restoration#Real-World Degradation#Large-Scale Image Editing Models#Diffusion Models#Data Generation#RealIR-Bench#Zero-shot Generalization#Transfer Learning2026년 3월 26일댓글 수 로딩 중
[논문리뷰] PixelSmile: Toward Fine-Grained Facial Expression Editing최근 diffusion-based 이미지 편집 모델의 발전에도 불구하고, 미세한(fine-grained) 얼굴 표정 편집은 여전히 어려운 문제로 남아 있다.#Review2026년 3월 26일댓글 수 로딩 중
[논문리뷰] MuRF: Unlocking the Multi-Scale Potential of Vision Foundation Models최근 VFM은 다양한 task에서 강력한 representation을 제공하며 컴퓨터 비전 분야의 핵심으로 자리 잡았습니다.#Review#Vision Foundation Models (VFMs)#Multi-Resolution Fusion (MuRF)#Dense Prediction#Anomaly Detection#Multimodal Understanding#Scale-Robust Representation2026년 3월 26일댓글 수 로딩 중
[논문리뷰] MemMA: Coordinating the Memory Cycle through Multi-Agent Reasoning and In-Situ Self-EvolutionLarge Language Models (LLMs) 기반의 Agent들이 장기적인 상호작용을 지원하기 위해 외부 메모리 뱅크를 활용하지만, 대부분의 기존 시스템은 메모리 Construction , Retrieval , Utilization 단계를 개별적인 서브루틴으로 분리하여 처리하는 한계를 가집니다.#Review#LLM Agents#Memory Cycle#Multi-Agent Reasoning#Self-Evolution#Long-Horizon Memory#Strategic Blindness#Memory Management2026년 3월 26일댓글 수 로딩 중
[논문리뷰] MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M TokensLarge Language Models (LLMs)는 다양한 분야에서 뛰어난 능력을 보였지만, 수백만 토큰 규모의 장기적이고 세밀한 기억(long-term, fine-grained memory retention)을 처리하는 데에는 여전히 큰 어려움에 직면해 있습니다.#Review#Memory Sparse Attention#Long-Context LLMs#Efficient Memory#End-to-End Trainable#KV Cache Compression#Rotary Positional Embedding#Multi-hop Reasoning#Scalability2026년 3월 26일댓글 수 로딩 중