[SGLang] RoPE 변형: 로타리 위치 인코딩의 다양한 구현SGLang의 RoPE 구현을 분석한다. 기본 RoPE, NTK-aware Scaling, YaRN, Dynamic NTK 등 다양한 변형의 구현, 위치 인코딩이 긴 컨텍스트에 미치는 영향을 코드와 함께 살펴본다.#sglang#RoPE#Rotary Position Encoding#Position Embedding2026년 4월 14일댓글 수 로딩 중
[논문리뷰] TriAttention: Efficient Long Reasoning with Trigonometric KV CompressionarXiv에 게시된 'TriAttention: Efficient Long Reasoning with Trigonometric KV Compression' 논문에 대한 자세한 리뷰입니다.#Review#KV Cache#LLM#Attention#RoPE#Compression#Reasoning2026년 4월 6일댓글 수 로딩 중
[논문리뷰] CoME-VL: Scaling Complementary Multi-Encoder Vision-Language LearningHisham Cholakkal이 arXiv에 게시한 'CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning' 논문에 대한 자세한 리뷰입니다.#Review#Vision-Language Models#Multi-Encoder Fusion#Entropy-Guided Selection#Orthogonal Layer#RoPE#Visual Grounding#Multimodal Understanding2026년 4월 5일댓글 수 로딩 중
[sglang] fused_qknorm_rope 최적화 - interleave RoPE에서 sincosf 중복 제거interleave 방식 RoPE에서 인접 요소 쌍이 동일한 frequency를 공유하는 점을 활용하여 sincosf 호출 횟수를 절반으로 줄임#SGLang#JIT Kernel#CUDA#RoPE#Performance2026년 4월 1일댓글 수 로딩 중
[sglang] Diffusion 모델용 Fused QKNorm+RoPE CUDA 커널 추가SGLang에 Diffusion 모델의 QKNorm과 RoPE를 하나의 CUDA 커널로 융합하여 메모리 접근을 절반으로 줄이는 warp-level 최적화 커널 분석.#SGLang#CUDA#Diffusion#RoPE#RMSNorm#Kernel Fusion#GPU Optimization2026년 3월 27일댓글 수 로딩 중
[논문리뷰] Group Representational Position EncodingarXiv에 게시된 'Group Representational Position Encoding' 논문에 대한 자세한 리뷰입니다.#Review#Positional Encoding#Group Theory#Transformer#RoPE#ALiBi#Lie Groups#Multiplicative PE#Additive PE2025년 12월 8일댓글 수 로딩 중
[논문리뷰] MultiShotMaster: A Controllable Multi-Shot Video Generation FrameworkarXiv에 게시된 'MultiShotMaster: A Controllable Multi-Shot Video Generation Framework' 논문에 대한 자세한 리뷰입니다.#Review#Multi-Shot Video Generation#Controllable Video Generation#Diffusion Models#RoPE#Spatiotemporal Consistency#Reference Injection#Data Curation Framework2025년 12월 2일댓글 수 로딩 중
[논문리뷰] Behind RoPE: How Does Causal Mask Encode Positional Information?Yeyun Gong이 arXiv에 게시한 'Behind RoPE: How Does Causal Mask Encode Positional Information?' 논문에 대한 자세한 리뷰입니다.#Review#Transformer Decoder#Causal Mask#Positional Encoding#RoPE#Attention Mechanism#Length Generalization#Large Language Models2025년 9월 26일댓글 수 로딩 중