[논문리뷰] TileMix: Tile-Centric Mixed-Precision Attention for LLM Inference Acceleration본 논문은 LLM의 Long-context prefill 단계에서 발생하는 쿼리-키 간 Quadratic 연산과 메모리 병목 문제를 해결하기 위해 TileMix를 제안한다.#Review#LLM Inference#Mixed-Precision Attention#Tile-Centric#Online Softmax#Quantization#Long-Context#Kernel Optimization2026년 8월 24일댓글 수 로딩 중
[논문리뷰] MegaParts: Scaling Part-Aware 3D Object Generation to 300 Parts via Token-Efficient Autoregressive Modeling본 연구는 기존 파트 인식(part-aware) 3D 생성 방법론이 가진 확장성 한계를 해결하고자 합니다. 기존 방식들은 확산 모델(diffusion-based)에 의존하며, 파트 수가 증가함에 따라 메모리 요구량과 연산 비용이 지수적으로 증가하여 수백 개의 파트로 구성된 복잡한 객체 생성이 어렵다는 단점이 있습니다.#Review#3D Generation#Part-Aware#Autoregressive Modeling#Token-Efficient#VQ-VAE#Long-Context#Scalability2026년 8월 17일댓글 수 로딩 중
[논문리뷰] Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression본 논문은 대규모 컨텍스트를 처리하는 LLM의 추론 비용을 줄이기 위한 Hard Prompt Compression 기법이, 정보 조각을 독립적으로 선택함에 따라 필연적으로 발생하는 구조적 결함인 Referential Dangling 문제를 제기합니다 .#Review#Prompt Compression#Hard Prompt Compression#Referential Dangling#Long-Context#LLM Inference#Information Retrieval#Contextual Dependency2026년 8월 9일댓글 수 로딩 중
[논문리뷰] K-EXAONE 2.0 Technical Report본 연구는 글로벌 AI 경쟁 시대에 대응하여 국산 거대언어모델의 독자적인 구축 및 운영 능력을 확보하기 위해 수행되었다. 기존 모델을 폐기하고 처음부터 모델을 학습시키는 것은 방대한 계산 자원과 데이터, 학습 노하우를 낭비하는 결과를 초래한다.#Review#Foundation Model#Mixture-of-Experts#Upcycling#Speculative Decoding#Long-Context#Agentic Capability#Post-training2026년 8월 5일댓글 수 로딩 중
[논문리뷰] LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget본 연구는 고정된 GPU 자원 내에서 million-token context를 지원하는 RL post-training의 한계를 극복하고자 수행되었습니다.#Review#Long-Context#GRPO#RL Post-training#Fixed GPU Budget#Tensor Lifetime#Architecture-Aware Execution2026년 7월 16일댓글 수 로딩 중
[논문리뷰] RoPE-Aware Bit Allocation for KV-Cache Quantization본 논문은 기존 KV-Cache 양자화 기법들이 Key를 단순한 평면 벡터(Flat Vector)로 취급하여 발생하는 정보 손실 문제를 해결하고자 합니다.#Review#KV-Cache Quantization#RoPE#Bit Allocation#LLM Inference#Long-Context#TurboQuant#Block-GTQ2026년 6월 24일댓글 수 로딩 중
[논문리뷰] LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards본 논문은 기존 long-context 강화학습이 가진 데이터의 낮은 난이도와 보상 신호의 희소성(Sparsity) 문제를 해결하고자 합니다.#Review#Long-Context#Reinforcement Learning#Rubric Reward#Search Agent Trajectories#Tiered Distractors#Multi-hop Reasoning2026년 5월 31일댓글 수 로딩 중
[논문리뷰] MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models본 연구는 LVLM과 Memory-Augmented Agents 간의 기억 능력을 체계적으로 비교할 수 있는 표준화된 벤치마크의 부재를 해결합니다. 기존의 장기 문맥 벤치마크는 주로 텍스트 기반이거나 시각적 정보의 필요성이 낮아 진정한 다중 모달 추론 능력을 검증하지 못한다는 한계가 있습니다.#Review#Multimodal Memory#Large Vision-Language Models#Long-Context#Benchmark#Retrieval-Augmented Generation#Multi-Session Reasoning2026년 5월 14일댓글 수 로딩 중
[논문리뷰] MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference본 논문은 Long-context LLM Inference에서 indexer 연산이 전체 비용의 지배적인 비중을 차지하는 문제를 해결하기 위해 MISA를 제안한다.#Review#Large Language Models#Long-Context#Sparse Attention#Mixture of Experts#Indexer#Inference Efficiency#Retrieval2026년 5월 10일댓글 수 로딩 중
[논문리뷰] LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory본 논문은 기존 feedforward 기하학적 재구성 모델 이 겪는 quadratic attention 복잡성 및 제한된 유효 메모리 로 인한 스케일링 문제를 해결하고, 분 단위의 매우 긴 비디오 시퀀스 에 대해 사후 최적화 없이 조밀한 3D 재구성을 수행하는 것을 목표로 합니다.#Review#3D Reconstruction#Long-Context#Hybrid Memory#Sliding Window Attention (SWA)#Test-Time Training (TTT)#Transformer#Visual SLAM#Sequence Modeling2026년 3월 9일댓글 수 로딩 중
[논문리뷰] Memory Caching: RNNs with Growing Memory본 논문은 고정된 메모리 크기 로 인해 장문 시퀀스에서 과거 정보를 잊어버리는 Recurrent Neural Networks (RNNs)의 한계를 해결하고자 합니다.#Review#Recurrent Neural Networks#Memory Caching#Sequence Modeling#Long-Context#Transformers#Linear Attention#Language Modeling#Retrieval Tasks2026년 3월 1일댓글 수 로딩 중
[논문리뷰] tttLRM: Test-Time Training for Long Context and Autoregressive 3D Reconstruction본 논문은 기존 3D 재구성 모델들이 가지는 느린 최적화 , 제한적인 입력 뷰 확장성 , 그리고 긴 시퀀스 컨텍스트 처리 능력 의 한계를 극복하는 것을 목표로 합니다.#Review#3D Reconstruction#Test-Time Training (TTT)#Autoregressive Modeling#Long-Context#Gaussian Splatting#Neural Radiance Fields#Large Reconstruction Models2026년 2월 23일댓글 수 로딩 중
[논문리뷰] FASA: Frequency-aware Sparse Attention대규모 언어 모델(LLMs)이 긴 입력 시퀀스를 처리할 때 발생하는 KV 캐시의 막대한 메모리 사용량과 연산 병목 현상 을 해결하는 것이 목표입니다.#Review#Sparse Attention#KV Cache Optimization#Rotary Positional Embedding (RoPE)#Frequency Chunks (FCs)#LLMs#Long-Context#Training-Free2026년 2월 4일댓글 수 로딩 중
[논문리뷰] Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers표준 어텐션 메커니즘의 이차적인 복잡도로 인한 대규모 언어 모델(LLM)의 긴 컨텍스트 시나리오에서의 확장성 병목 현상을 해결하고자 합니다.#Review#Transformer#Sparse Attention#Adaptive Sparsity#Efficient LLM#Attention Router#Long-Context#Hybrid Attention2026년 1월 26일댓글 수 로딩 중
[논문리뷰] Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models본 논문은 경량 LLM이 높은 계산 효율성 을 유지하면서도 내재적인 에이전트 지능을 갖출 수 있도록 하는 것을 목표로 합니다. 특히, 기존의 증류(distillation) 방식이 아닌, sub-2B 규모 의 모델이 처음부터 추론 및 계획 능력 을 체계적으로 학습하도록 하는 데 중점을 둡니다.#Review#Lightweight LLM#Agentic AI#Pre-training#Multi-Latent Attention#Long-Context#Curriculum Learning#Agentic Mid-training#Instruction Tuning2025년 12월 31일댓글 수 로딩 중
[논문리뷰] Qwen3-VL Technical ReportQwen3-VL은 기존 Qwen 시리즈 중 가장 강력한 Vision-Language Model (VLM) 을 개발하여 광범위한 멀티모달 벤치마크에서 뛰어난 성능을 달성하는 것을 목표로 합니다.#Review#Vision-Language Model#Multimodal Reasoning#Long-Context#Interleaved Data#Mixture-of-Experts#DeepStack#Agentic AI2025년 12월 3일댓글 수 로딩 중
[논문리뷰] LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering본 논문은 대규모 언어 모델(LLM) 에이전트가 복잡한 소프트웨어 개발 작업을 수행할 때 필요한 실세계 역량을 평가하기 위한 포괄적인 벤치마크, LoCoBench-Agent 를 제안합니다.#Review#LLM Agents#Software Engineering#Long-Context#Interactive Benchmark#Tool Usage#Memory Management#Bias-Free Evaluation#Multi-Turn2025년 11월 17일댓글 수 로딩 중
[논문리뷰] Hybrid Architectures for Language Models: Systematic Analysis and Design Insights기존 대규모 언어 모델(LLM)에서 Transformer 의 quadratic 복잡성과 Mamba 의 장문 컨텍스트 처리 한계를 극복하고자 합니다.#Review#Hybrid LLM#Transformer Architecture#Mamba#State Space Models (SSM)#Computational Efficiency#Long-Context#Language Model Architectures#Scaling Laws2025년 10월 7일댓글 수 로딩 중