[flashinfer] MXFP4 MoE 기본값을 expert fill과 FC1 깊이로 고르기: 상속된 튜닝을 버리고 최대 13.85% 지연 단축MXFP8 기본값을 그대로 쓰던 MXFP4 MoE에 용량 기반 tile·스케줄 선택을 도입해 지연을 최대 13.85% 줄였다#FlashInfer#MoE#Expert Parallelism#MXFP4#CuTe DSL#Blackwell#GPU Scheduling2026년 11월 10일댓글 수 로딩 중
[flashinfer] FP8 가중치를 커널 안에서 풀어낸다: FlashInfer의 W8A16 GEMM(mm_bf16_fp8) 분석FP8 가중치를 16-bit로 복사하지 않고 커널 내부에서 dequantize하는 Hopper/Blackwell용 CuTe-DSL GEMM#FlashInfer#GEMM#FP8#CuTe-DSL#Hopper#Blackwell#CUDA2026년 11월 10일댓글 수 로딩 중
[flashinfer] DeepSeek-V4.1 Sparse MLA Decode를 위한 Prims-TS 백엔드: FP4 캐시에서 바로 E4M3 MMA까지FP4/E4M3 캐시를 직접 읽어 E4M3 MMA로 계산하는 DS4.1 decode 백엔드, FlashMLA 대비 최대 2.7배#FlashInfer#CUDA#Blackwell#MLA#FP8#FP4#DeepSeek#CuTe-DSL2026년 11월 10일댓글 수 로딩 중
[transformers] bad_words_ids를 100배 빠르게: 다중 토큰 시퀀스를 prefix 길이별로 묶어 한 번에 매칭하기Python 루프를 prefix 길이별 broadcast 비교와 index_add_로 바꿔 200단어 처리 17ms→0.18ms#transformers#PyTorch#generation#performance#vectorization2026년 11월 10일댓글 수 로딩 중
[flashinfer] MoE Finalize + AllReduce 융합 커널에 shared-expert 전용 two-shot 프로그램 추가: L2 prefetch로 중간 토큰 구간 최대 3.8% 단축top_k 4 + shared expert 조합의 two-shot 경로에 전용 커널을 추가해 B200/B300에서 약 2.5% 가속#CUDA#MoE#AllReduce#FlashInfer#Kernel Dispatch#L2 Prefetch2026년 11월 9일댓글 수 로딩 중
[GPT-SoVITS] GPT-SoVITS DiT 샘플러에 cache-dit(DBCache) 블록 캐싱 도입하기: forward를 세 조각으로 나눈 이유DiT 블록 스택을 front/mid/head로 쪼개 잔차 변화가 작은 스텝에서 중간 블록을 건너뛴다#GPT-SoVITS#DiT#DBCache#cache-dit#TTS#Diffusion#PyTorch#Inference Optimization2026년 11월 9일댓글 수 로딩 중
[triton] Blackwell Two-CTA MMA에 맞춘 CGA 레이아웃: M-first 분할로 멀티 CTA matmul 최대 9% 향상sm_100 계열에서 M 방향 CTA 페어링을 우선해 4/8-CTA matmul 처리량을 2~9% 높였습니다#Triton#Blackwell#CUDA#MLIR#GEMM#Compiler2026년 11월 9일댓글 수 로딩 중
[vllm] Blackwell에서 fp8 KV 캐시 기반 QSA sparse attention을 2.6배 빠르게: split-K를 대체하는 single-pass 커널slot pass와 int16 e4m3 gather로 B200 fp8 QSA 커널 2.63×, E2E TPOT 4.4% 개선#vLLM#Triton#FP8#Blackwell#Sparse Attention#CUDA#Performance2026년 11월 9일댓글 수 로딩 중
[onnxruntime] GGUF 블록 패킹 가중치를 그대로 실행하기: ONNX Runtime의 GatherPacked·MatMulPacked·MoEPackedGGUF 양자화 가중치를 repack 없이 CUDA에서 직접 디코딩·GEMM·MoE까지 수행하는 contrib op 3종 분석#onnxruntime#CUDA#quantization#GGUF#MoE#TensorCore2026년 11월 9일댓글 수 로딩 중
[논문리뷰] onóna: Twin Embeddings with Tied Unembeddings논문 페이지를 가져오지 못해서 이 논문은 요약하지 않았습니다.#Review2026년 11월 9일댓글 수 로딩 중
[논문리뷰] WorldFoundry: Towards Unified Infrastructure for World Intelligence이 논문이 다루는 핵심 문제는 world model 연구의 bottleneck이 algorithm만이 아니라 infrastructure에도 있다는 점입니다.#Review#Generative World Model#World Intelligence#Reproducible Evaluation#Benchmark Infrastructure#Video Generation#3D/4D Reconstruction#Embodied AI#Closed-Loop Interaction2026년 11월 9일댓글 수 로딩 중
[논문리뷰] Training Vision Transformers to Focus: Emergence of Spatial Attention Head SpecializationYuji Nozawa이 arXiv에 게시한 'Training Vision Transformers to Focus: Emergence of Spatial Attention Head Specialization' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 9일댓글 수 로딩 중
[논문리뷰] TRIO: Task Refinement with Individual Optimization for Retrieval-Augmented GenerationYingtao Ren이 arXiv에 게시한 'TRIO: Task Refinement with Individual Optimization for Retrieval-Augmented Generation' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 9일댓글 수 로딩 중
[논문리뷰] Stochastic Deep Supervision for Gallery-Consistent Early-Exit Face RecognitionGuray Ozgur이 arXiv에 게시한 'Stochastic Deep Supervision for Gallery-Consistent Early-Exit Face Recognition' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 9일댓글 수 로딩 중
[논문리뷰] Spatial Harness: Grounding Spatial Reasoning in Executable World States with Physics Engines논문 페이지를 가져오지 못해서 요약을 작성하지 못했습니다.#Review2026년 11월 9일댓글 수 로딩 중
[논문리뷰] SkinMind: Equipping Agentic RAG with Human-Inspired Graph Probing for Reliable Dermatology AIJing Hao이 arXiv에 게시한 'SkinMind: Equipping Agentic RAG with Human-Inspired Graph Probing for Reliable Dermatology AI' 논문에 대한 자세한 리뷰입니다.#Review2026년 11월 9일댓글 수 로딩 중
[논문리뷰] Sage-Taiyi: A Metacognitive Architecture for Scientific Discovery이 논문이 다루는 핵심 문제는, 탐색 과정에서 축적된 scientific understanding을 보존하고 이를 이용해 '다음에 무엇을, 어떻게 조사할지'를 명시적으로 조절하는 방법입니다.#Review#Metacognition#AI Scientist#Scientific Ideation#Monitoring and Control#Cognitive State#Multi-Agent Systems#Scientific Discovery#LLM Agents2026년 11월 9일댓글 수 로딩 중
[논문리뷰] SWAM: Scaling World Action Models with Cross-Modal Alignment이 논문이 다루는 문제는 action learning을 도입할 때 video pretraining으로 얻은 language–video alignment가 손상될 수 있다는 점입니다.#Review#World Action Model#Cross-Modal Alignment#Video Pretraining#UMI Demonstrations#Flow Matching#Robot Manipulation#Control Generalization2026년 11월 9일댓글 수 로딩 중
[논문리뷰] SIRIS: Can LLMs Tell When Simulation Errors Matter in AI-Driven Systems Research논문 페이지를 불러오지 못해서 요약을 작성하지 못했습니다.#Review2026년 11월 9일댓글 수 로딩 중
[논문리뷰] RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill이 논문은 long-context prompt의 prefill latency를 줄이는 것을 목표로 합니다. 이를 위해 trained model 수정 없이 late layer 연산의 대부분을 건너뛰는 training-free 방법을 제안합니다.#Review#Prefill Acceleration#KV Cache#Ridge Regression#Layer Skipping#Time to First Token#Gated DeltaNet#Training-Free Inference#Long-Context LLM2026년 11월 9일댓글 수 로딩 중