[논문리뷰] Scalable Visual Pretraining for Language Intelligence

링크: 논문 PDF로 바로 열기

저자: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• VP (Visual Pretraining): 문서의 시각적 형태(이미지)를 직접 학습하여 텍스트 추출 없이 언어 및 시각적 지능을 획득하는 프레임워크.
• TP (Text Pretraining): 문서의 시각적 정보를 텍스트로 변환(OCR/Parsing)한 뒤 학습하는 전통적인 방식.
• Scientific Reasoning: 도표, 수식, 레이아웃 등 고밀도 시각 정보를 포함한 과학적 문서의 구조와 맥락을 이해하는 추론 능력.
• Cross-modal Alignment: 텍스트 임베딩과 시각적 임베딩을 공유된 공간(Latent Space)으로 정렬하여 모델의 이해도를 높이는 과정.
• MinerU2.5: 논문에서 TP Baseline 구축을 위해 사용된 오픈 소스 문서 파싱 도구.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 대규모 언어 모델이 문서의 시각적 요소를 평문으로 변환할 때 발생하는 정보 손실을 해결하기 위해 시각적 문서 자체를 직접 학습하는 VP를 제안한다. 기존의 대규모 파운데이션 모델들은 모든 지식을 텍스트의 선형적 시퀀스로 인코딩할 수 있다는 가정에 의존하지만, 과학 논문 내의 도표, 수식 레이아웃 등은 기하학적 제약과 구조적 정보를 담고 있어 텍스트 변환 과정에서 핵심적인 추론 단서가 파괴된다. 기존의 멀티모달 모델들은 시각 정보를 텍스트 예측을 위한 보조 컨텍스트(Conditioning Context)로만 사용하여 시각적 맥락의 깊은 통합이 어렵다는 한계가 있다. [Figure 1]은 시각적 구조를 유지하는 VP 방식과 텍스트 위주로 변환하는 TP 방식의 근본적인 차이를 보여준다.

Figure 1 — VP와 TP 학습 경로의 차이를 도식화하여 본 연구의 핵심 방법론을 설명하는 다이어그램

## 3. Method & Key Results (제안 방법론 및 핵심 결과) VP는 시각적 문서의 foreground 패치를 토큰화하고, 이를 공유된 오토레그레시브(Autoregressive) 백본에 입력하여 다음 시각적 잠재 표현을 예측하도록 설계된 프레임워크이다. 본 모델은 텍스트 파싱을 거치지 않고 원본 PDF의 시각적 구조를 학습하며, Contrastive next-visual-latent loss를 사용하여 시각적 정보를 LLM의 히든 공간에 깊이 통합한다. [Table 1]에 따르면, VP는 Qwen 3.5 및 Llama 3.2 Vision 등 다양한 백본에서 Text Pretraining 모델 대비 과학적 추론 벤치마크 성능을 일관되게 상회한다. 특히 GPQA와 AIME-25 벤치마크에서 뛰어난 성능 향상을 보였으며, 텍스트 변환 모델 대비 약 25% 수준의 토큰 효율로도 더 높은 지능을 달성하였다. 또한 [Figure 2]는 시각적 정보 밀도가 높은 문서일수록 VP의 성능 이득이 더욱 두드러짐을 입증한다.

Table 1 — 다양한 모델에서 VP가 TP 대비 우수한 성능을 보임을 증명하는 핵심 정량적 결과 테이블

Figure 2 — VP의 효율성(Loss 및 토큰 수)과 구조적 밀도에 따른 성능 이득을 보여주는 핵심 그래프

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 시각적 문서의 원본 구조를 모델이 직접 학습하는 것이 언어 지능과 과학적 추론 성능을 향상시키는 데 매우 효과적임을 입증하였다. VP 프레임워크는 별도의 라벨링 없이도 멀티모달 표현의 정렬을 개선하고, 모델의 시각적 인식 역량을 강화하는 효율적인 경로를 제시한다. 이는 향후 파운데이션 모델 학습 시 고비용의 데이터 파싱 과정 없이도 대규모 시각 데이터를 직접 활용할 수 있는 새로운 확장 가능성을 제공하며, 특히 구조적 지식이 중요한 학술 및 전문 도메인 AI 연구에 중요한 전환점이 될 것으로 평가된다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.