[논문리뷰] FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context PrefillingLarge Language Models (LLMs)의 장문 컨텍스트 처리 시 자기회귀(self-attention)의 2차 복잡도로 인한 성능 병목현상 , 특히 계산 집약적인 프리필(prefilling) 단계의 높은 오버헤드 를 해결하는 것이 목표입니다.#Review#Long-Context LLMs#Prefilling#Sparse Attention#Pattern Discovery#Dynamic Thresholding#Attention Speedup#Transformer Optimization2026년 3월 8일댓글 수 로딩 중
[논문리뷰] SimpleGPT: Improving GPT via A Simple Normalization Strategy본 논문은 Transformer 모델의 최적화 안정성 문제를 해결하고자 합니다. 기존 정규화 기법들이 경험적으로 도입되었던 한계를 넘어, 2차 최적화 기하학 과 활성화 스케일 의 관점에서 아키텍처 설계와 최대 허용 학습률 간의 직접적인 연결을 이론적으로 규명하는 것을 목표로 합니다.#Review#Transformer Optimization#Normalization Strategy#Hessian Spectral Norm#Learning Rate Stability#Large Language Models#SimpleNorm#Second-Order Optimization2026년 2월 3일댓글 수 로딩 중
[논문리뷰] Speed Always Wins: A Survey on Efficient Architectures for Large Language Models본 설문조사 논문은 기존 Transformer 기반 대규모 언어 모델(LLMs)의 Quadratic 복잡성 과 높은 연산 및 메모리 요구사항 으로 인한 비효율성 문제를 해결하기 위한 혁신적인 아키텍처를 체계적으로 검토하는 것을 목표로 합니다.#Review#Large Language Models#Efficient Architectures#Transformer Optimization#Linear Attention#State Space Models#Mixture-of-Experts#Sparse Attention#Diffusion LLMs2025년 8월 19일댓글 수 로딩 중
[논문리뷰] The Markovian Thinker본 논문은 추론 LLM 훈련 시 발생하는 무한한 상태 크기 와 추론 길이 증가에 따른 2차 계산 복잡도 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Large Language Models#Chain-of-Thought#Markovian Thinking#Context Management#Computational Efficiency#Long-Context LLMs#Transformer Optimization2025년 10월 9일댓글 수 로딩 중