[논문리뷰] Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta AttentionLinear RNN은 시퀀스 길이에 선형적으로 확장되는 효율적인 시퀀스 모델링이 가능하지만, 낮은 Rank correction을 포함하는 선형 업데이트로 인해 Expressivity가 제한된다.#Review#Complex KDA#Kimi Delta Attention#Linear RNNs#Expressivity#State Tracking#Rotation#Diagonal-plus-rank-one#Language Modeling2026년 9월 21일댓글 수 로딩 중
[논문리뷰] Kimi K3: Open Frontier Intelligence본 논문은 기존 오픈소스 모델들이 1T 파라미터 규모에 정체되어 있는 반면, 상업적 모델들은 더 큰 규모와 복잡한 추론 능력을 갖추며 격차가 벌어지는 문제를 해결하고자 합니다. 특히 long-context와 agentic tasks를 동시에 처리하기 위한 모델의 확장성과 효율성이 부족하다는 점이 핵심 배경입니다.#Review#Mixture-of-Experts#Kimi Delta Attention#Long-context#Reinforcement Learning#Multimodal#Scaling Efficiency#Agentic Intelligence2026년 7월 27일댓글 수 로딩 중