[논문리뷰] SAS: Simple Attention Sparsification via End-to-End Optimization of Context RankingLong-context inference는 LLM에서 autoregressive generation 시 모든 이전 context token에 대한 dense attention을 요구하며, 이로 인해 cumulative attention cost가 context length에 따라 quadratically 증가하는 심각한 efficiency bottleneck을 초래합니다.#Review#Attention Sparsification#Context Ranking#End-to-End Optimization#Language Modeling Loss#Gated Attention#Long-Context LLMs#Triton Kernel2026년 9월 13일댓글 수 로딩 중
[논문리뷰] Let ViT Speak: Generative Language-Image Pre-training본 논문은 기존 MLLM용 vision encoder 학습 방식인 contrastive learning과 복잡한 encoder-decoder 구조의 한계를 극복하고자 합니다.#Review#Vision Transformer#Generative Pre-training#Multimodal Large Language Models#Gated Attention#Vision-Language Pre-training#Minimalist Architecture2026년 5월 3일댓글 수 로딩 중