[논문리뷰] LatentPress: Context Compression Beyond Text and Vision

링크: 논문 PDF로 바로 열기

저자: Zhengze Zhou, Hejian Sang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

본 섹션은 논문에서 사용되는 핵심 기술 용어들을 정의합니다.

• LatentPress: 텍스트 및 시각적 컨텍스트를 넘어 continuous memory tokens로 압축하여 frozen decoder가 직접 읽을 수 있도록 하는 제안된 컨텍스트 압축 시스템입니다.
• Soft Tokens: LatentPress에서 텍스트 또는 다른 모달리티의 컨텍스트를 압축하여 생성되는 연속적인 벡터 표현으로, frozen LLM의 input-embedding interface를 통해 직접 주입됩니다.
• Direct-read interface: LatentPress의 핵심적인 인터페이스로, frozen LLM이 soft-token으로 압축된 컨텍스트를 텍스트 재구성 과정 없이 직접 소비하는 방식을 의미합니다.
• Write Cost: 컨텍스트를 soft tokens로 인코딩하는 데 소요되는 시간적 비용을 나타내는 지표입니다.
• Read Cost: soft tokens로 압축된 컨텍스트를 사용하여 frozen decoder가 추론을 수행하는 데 걸리는 시간적 비용, 즉 latency를 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존 Large Language Models (LLMs)의 컨텍스트 처리 방식은 latency 및 throughput 측면에서 한계를 가지고 있습니다. Long-running assistants 및 agents는 방대한 양의 conversational history를 축적하며, LLMs가 long documents를 처리하여 Question Answering (QA) 작업을 수행해야 할 때 과도한 reread cost와 context window 제약에 직면합니다. 현재 machine-facing interface는 주로 discrete text 형태로 컨텍스트를 retrieve, summarize, prune하거나 다른 modality로부터 reconstruct하는 방식에 의존합니다. 그러나 이러한 텍스트 기반 인터페이스는 인간에게는 편리하지만, 모델이 반드시 인간이 읽을 수 있는 형태로 컨텍스트를 요구하지는 않습니다. 이 연구는 frozen language model이 텍스트 재구성 없이 직접 읽을 수 있는 compact continuous representation으로 long context를 압축할 수 있는지에 대한 근본적인 질문에서 출발합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 LatentPress를 제안하여 direct-read soft-token interface를 통해 context compression을 수행합니다. 이 방법론은 frozen decoder의 두 하위 transformer layers를 재사용하며, 이 위에 small trainable adapter(writer head)를 학습시켜 텍스트 세그먼트를 continuous vectors (soft tokens)로 매핑합니다. 이 soft tokens는 frozen decoder의 input-embedding interface를 통해 질문과 함께 직접 주입되며, 추론 시 텍스트 재구성을 필요로 하지 않습니다. writer는 reconstruction loss와 forward-KL distillation을 포함하는 bottleneck supervision을 통해 학습됩니다. compression rate는 role-based(conversational memory의 경우 user turns는 lossless하게 유지하고 assistant turns를 압축) 또는 uniform pooling(long documents의 경우) 방식으로 결정됩니다.

핵심 실험 결과는 LatentPress의 우수성을 정량적으로 입증합니다:

• Accuracy: LongMemEval 벤치마크에서 LatentPress는 7.70x의 compression ratio에서 0.504의 accuracy를 달성하여 uncompressed oracle evidence의 0.490을 능가했습니다. 이는 text summarization (0.184) 및 DeepSeek-OCR (0.312까지 감소)보다 현저히 높은 성능입니다 [cite: 1, Figure 2, Table 2]. 특히, role-aware LatentPress는 세 가지 Qwen backbones 모두에서 compression rate에 따라 안정적인 성능을 유지했습니다 [cite: 1, Figure 2, Table 3]. LongBench-QA 태스크에서는 in-domain writer가 4-8x compression에서 raw-context reading의 성능과 같거나 그 이상을 달성했습니다 [cite: 1, Figure 3, Table 4]. 예를 들어, Qwen2.5-14B는 4x compression에서 raw context의 47.93 대비 57.99의 accuracy를, Qwen2.5-7B는 43.80 대비 49.06을, Qwen3-8B는 30.80 대비 39.62를 달성했습니다 [cite: 1, Table 4].
• Efficiency: LatentPress의 write cost는 conversational history당 43 ms로, DeepSeek-OCR의 844–1056 ms 및 text summarization의 407–645 ms보다 훨씬 빠릅니다. read cost 측면에서는 LatentPress가 raw context 또는 cached OCR 대비 5.0–9.2x 더 빠른 inference latency를 보여주었습니다 [cite: 1, Table 5]. LatentPress의 trainable footprint은 decoder의 약 0.1%인 4.2M–26.2M parameters에 불과하여 매우 lightweight합니다.

4. Conclusion & Impact (결론 및 시사점)

LatentPress는 conversational histories와 long documents를 continuous memory tokens로 압축하여 frozen decoder가 embedding interface를 통해 직접 읽을 수 있는 새로운 context compression 패러다임을 성공적으로 제시합니다. 이 연구는 압축된 컨텍스트가 human-readable text로 저장되거나 이미지에서 재구성될 필요 없이 LLM에 의해 직접 활용될 수 있음을 보여줍니다. LatentPress는 LongMemEval 및 LongBench-QA 벤치마크에서 accuracy를 유지하거나 향상시키면서, near-real-time encoded token generation, raw context 또는 cached OCR 대비 현저히 빠른 read speed, 그리고 small trainable adapter라는 실용적인 이점을 입증했습니다. 이러한 결과는 soft tokens가 text 및 vision을 넘어선 실용적인 machine-facing context interface로서의 가능성을 확립하며, dynamic compression과 multimodal context로의 확장을 위한 중요한 기반을 마련합니다.

Figure 1 — LatentPress 개요

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.