[논문리뷰] OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs본 논문은 OmniLLM의 긴 오디오-비디오 토큰 시퀀스로 인한 높은 Latency와 메모리 비용 문제를 해결하기 위해, 기존의 고정된 토큰 예산 할당 방식의 한계를 지적합니다 .#Review#OmniLLM#Token Compression#Budget Allocation#Skill-Driven#Multimodal Inference#Efficiency#Token Pruning2026년 7월 28일댓글 수 로딩 중
[논문리뷰] Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers본 논문은 현대의 대규모 Diffusion Transformers에서 텍스트와 이미지 토큰의 상호작용 과정이 여전히 불투명하다는 문제를 해결하고자 합니다.#Review#Diffusion Transformers#Causal Interpretability#Attention Sinks#Semantic Registers#Token Pruning#Multimodal Diffusion2026년 7월 21일댓글 수 로딩 중
[논문리뷰] Unified Spatio-Temporal Token Scoring for Efficient Video VLMsVideo VLM은 방대한 수의 프레임을 인코딩하고, 각 프레임이 Vision Transformer (ViT)에 의해 수백 개의 Patch Token으로 분해되면서 막대한 계산 비용을 발생시킵니다.#Review#Token Pruning#Video-Language Models (VLMs)#Computational Efficiency#Spatio-Temporal Scoring#Vision Transformers (ViT)#Large Language Models (LLM)#End-to-End Training2026년 3월 18일댓글 수 로딩 중
[논문리뷰] Script: Graph-Structured and Query-Conditioned Semantic Token Pruning for Multimodal Large Language Models본 논문은 멀티모달 대규모 언어 모델(MLLM)에서 고해상도 이미지 및 비디오 처리 시 발생하는 과도한 메모리 소비 및 추론 지연 시간 문제 를 해결하고자 합니다.#Review#Multimodal Large Language Models (MLLMs)#Token Pruning#Graph-Structured Pruning (GSP)#Query-Conditioned Semantic Pruning (QCSP)#Determinantal Point Processes (DPP)#Model Efficiency#Visual Redundancy2025년 12월 1일댓글 수 로딩 중
[논문리뷰] Can Visual Input Be Compressed? A Visual Token Compression Benchmark for Large Multimodal Models대규모 멀티모달 모델(LMM)이 이미지 인코더에서 생성되는 막대한 수의 시각 토큰으로 인해 겪는 심각한 추론 비효율성 문제를 해결하는 것이 주된 목표입니다.#Review#Large Multimodal Models#Visual Token Compression#Token Pruning#Benchmark#Efficiency#Inference Latency#Multimodal LLMs2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning본 논문은 대규모 언어 모델(LLMs)의 Supervised Fine-Tuning (SFT) 과정에서 발생하는 데이터 비효율성 문제를 해결하고자 합니다.#Review#LLM SFT#Data Pruning#Sample Pruning#Token Pruning#Error-Uncertainty Plane#Q-Tuning#Data Efficiency#Dynamic Pruning2025년 10월 1일댓글 수 로딩 중