[논문리뷰] CoWindow Attention: Full Causal Coverage Is a Collective PropertyLong-context full attention (FullAttn)은 IO-efficient dense kernels을 사용함에도 불구하고 상당한 redundant computation 및 memory traffic을 발생시키며, 저자들은 이 문제를 해결하고자 한다.#Review#CoWindow Attention#Sparse Attention#Causal Coverage#Long-Context LLMs#Training Efficiency#Inference Latency#Tensor Parallelism2026년 9월 28일댓글 수 로딩 중