[transformers] DeepGEMM Mega MoE를 EP 구현체로 편입하기: 라우터 스타일을 버리고 슬라이스+all-gather로 최대 9배 빨라진 MoE 추론Mega MoE를 ep_dispatch_experts 플랜의 EP 구현체로 옮겨 버퍼 공유와 함께 최대 9.1x 가속#transformers#MoE#Expert Parallelism#DeepGEMM#CUDA Graph#Distributed2026년 11월 12일댓글 수 로딩 중
[sglang] ROCm aiter에서 Ring Attention 지원과 K/V 버퍼 재사용으로 MiniMax-H3 2-GPU 추론 11% 단축aiter가 softmax LSE를 반환해 ring 병합을 지원하고, ring K/V 버퍼 재사용으로 OOM을 해결#sglang#ROCm#aiter#Ring Attention#Diffusion#Sequence Parallelism2026년 11월 12일댓글 수 로딩 중
[onnxruntime] MoEPacked 멀티토큰 검증 최적화: CPU 콜드 라우트 Batch-2 AVX2와 GPU FC2 디코드 재설계투기적 디코딩 M=4/8 검증 단계를 CPU·GPU 양쪽에서 최대 33% 단축한 MoE 최적화 분석#onnxruntime#MoE#AVX2#CUDA#GGUF#speculative-decoding#quantization2026년 11월 12일댓글 수 로딩 중
[vllm] GLM MTP Draft에서 쓰지 않는 Post-Attention 행 건너뛰기: CUDA Graph 캡처 전 인덱스 바인딩으로 4.2% 처리량 향상MTP draft의 norm/MoE를 필요한 행에만 적용해 E2E throughput을 4.2% 끌어올린 PR 분석#vLLM#Speculative Decoding#MTP#CUDA Graph#MoE#Performance2026년 11월 12일댓글 수 로딩 중
[sglang] 하이브리드 모델의 Mamba 상태를 GreedyDual-Size로 축출하기: SGLang의 gds eviction policy 분석재구성 비용 기반 GDS로 recurrent state를 축출해 hybrid 모델의 캐시 적중률과 tail TTFT를 개선#SGLang#RadixCache#Mamba#CacheEviction#GreedyDual-Size#LLM Serving2026년 11월 12일댓글 수 로딩 중
[ultralytics] 행렬곱 두 번으로 bilinear 보간 대체하기: deterministic 모드에서 Ultralytics semantic 학습 최대 3.9배 가속deterministic 모드의 느린 bilinear 분해를 separable matmul로 대체해 학습 속도를 최대 3.9배 높였습니다#PyTorch#Ultralytics#Performance#Determinism#Interpolation#Semantic Segmentation2026년 11월 11일댓글 수 로딩 중
[sglang] FlashInfer MoE autotune의 함정: 모든 토큰이 0이면 튜너가 잘못된 tile을 고른다autotune dummy forward에 다양한 token id를 주입해 실제 라우팅에 맞는 MoE tactic을 선택하게 한 개선#SGLang#FlashInfer#MoE#Autotune#GPU#Performance2026년 11월 11일댓글 수 로딩 중
[sglang] SANA-Video 2.0 anchor attention의 FP32 upcast 제거로 720p 생성 52% 단축하기BF16 Q/K/V를 그대로 SDPA에 넘겨 flash attention을 활성화, quality=high에서 e2e 최대 -52.7%#sglang#diffusion#flash-attention#SDPA#BF16#performance2026년 11월 11일댓글 수 로딩 중
[sglang] logits를 쓰지 않는 top-k: SGLang의 LiteTopK prefill indexer로 DSA 롱컨텍스트 TTFT 최대 2배 단축샘플링 기반 threshold로 후보만 남겨 [rows, keys] logits 기록을 없앤 SM100 커널 분석#SGLang#CUDA#SM100#Sparse Attention#Top-K#DeepSeek#FP8#FP42026년 11월 11일댓글 수 로딩 중
[ray] Ray Data의 Join 너머 Predicate Pushdown: AND 분해와 OR에서 단측 조건 유도하기Join 위 Filter를 conjunct 단위로 분해하고 OR에서 약한 단측 조건을 유도해 스캔까지 내립니다#Ray Data#Query Optimization#Predicate Pushdown#Join#TPC-H2026년 11월 11일댓글 수 로딩 중
[논문리뷰] Where Does Alignment Emerge and What Does It Mean? A Closer Look at the Platonic Representation Hypothesis요약은 아직 작성하지 못했습니다. 논문 페이지를 불러오지 못해서 실제 내용을 하나도 읽지 못했기 때문입니다.#Review2026년 11월 11일댓글 수 로딩 중
[논문리뷰] WMIP: A Working-Memory-Inspired Programmable Probe of Cumulative State Tracking in Large Language Models이 논문은 기존 LLM 평가가 fixed-difficulty benchmark에 의존해서 모델이 발전하면 saturate되고, 특정 cognitive process를 isolate하지 못한다는 문제를 다룹니다.#Review#Working Memory#Cumulative State Tracking#LLM Evaluation#Construct Validity#Parameterized Difficulty#Agent Benchmark#Kendall's Tau2026년 11월 11일댓글 수 로딩 중
[논문리뷰] SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering논문 페이지를 가져오지 못해서 요약을 작성할 수 없었습니다.#Review2026년 11월 11일댓글 수 로딩 중
[논문리뷰] ScrapeBench: Evaluating Legal Compliance of AI Agents in Website ScrapingJoseph Marvin Imperial이 arXiv에 게시한 'ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 11일댓글 수 로딩 중
[논문리뷰] Scaling Mathematical Proof Supervision from Structured TextbooksYouqing Fang이 arXiv에 게시한 'Scaling Mathematical Proof Supervision from Structured Textbooks' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 11일댓글 수 로딩 중
[논문리뷰] Read Less, Solve More: Token-Efficient Sparse Reading of External Content for AI Agents이 논문은 agent가 외부 artifact를 통째로 읽어 생기는 over-reading 문제를 다룬다. 핵심 아이디어는 context에 들어가기 전에 읽을 내용을 통제하는 것이다. 선행 연구에 따르면 agent trajectory에서 처리되는 token의 60–80%가 외부 observation이다.#Review#LLM Agents#Sparse Reading#Context Compression#Token Efficiency#Agent Harness#Prefix Caching#Training-free2026년 11월 11일댓글 수 로딩 중
[논문리뷰] Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model본 논문은 local decoding에서 전체 generation에 하나의 weight precision을 고정하는 대신, 불확실한 step에만 high precision을 할당하는 per-token 정책이 같은 byte 예산에서 더 나은 품질을 주는지 검증합니다.#Review#Nested Quantization#Uncertainty Gating#Entropy#Logit Margin#Speculative Decoding#Memory-Bound Decoding#Weight Bytes#GSM8K2026년 11월 11일댓글 수 로딩 중
[논문리뷰] PolyRoute: A Twelve-Language and Code-Mixed Benchmark for Typed-Decision Routing, with Baselines and a Leaderboard이 논문은 typed-decision encoder가 English 밖에서 어떻게 동작하는지를 고정된 yardstick으로 측정하는 multilingual routing benchmark를 제안합니다. 대상 model family(Laya)는 두 checkpoint와 이를 고르는 Router를 함께 배포합니다.#Review#Multilingual Benchmark#Typed-Decision Routing#Code-Mixed Text#Cross-Lingual Transfer#LLM-Generated Labels#Calibration#Statistical Power#Dataset Card2026년 11월 11일댓글 수 로딩 중
[논문리뷰] Module-Aware Optimization for Graph Neural Networks본 논문의 핵심 문제는 기존 optimizer가 GNN weight update를 parameter space에서만 정규화한다는 점입니다. 이 때문에 graph propagation으로 인한 representation-level update amplification을 통제하지 못합니다.#Review#Graph Neural Networks#Muon Optimizer#Matrix-Aware Optimization#Graph-Induced Covariance#Polar Decomposition#Newton–Schulz Iteration#Time-to-Target2026년 11월 11일댓글 수 로딩 중
[논문리뷰] Mixed Signals: Weight-Space Programming for EEG and ECG논문 페이지를 가져오지 못해서 요약을 작성할 수 없었습니다.#Review2026년 11월 11일댓글 수 로딩 중