[논문리뷰] Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta AttentionLinear RNN은 시퀀스 길이에 선형적으로 확장되는 효율적인 시퀀스 모델링이 가능하지만, 낮은 Rank correction을 포함하는 선형 업데이트로 인해 Expressivity가 제한된다.#Review#Complex KDA#Kimi Delta Attention#Linear RNNs#Expressivity#State Tracking#Rotation#Diagonal-plus-rank-one#Language Modeling2026년 9월 21일댓글 수 로딩 중
[llm-compressor] SpinQuant: 학습된 회전 행렬 기반 양자화SpinQuant 논문의 4가지 회전(R1/R2/R3/R4)과 Cayley SGD 기반 학습 방법, llm-compressor의 mappings/norm_mappings 구현 분석#llm-compressor#SpinQuant#Quantization#Rotation2026년 4월 13일댓글 수 로딩 중