[논문리뷰] UniWeTok: An Unified Binary Tokenizer with Codebook Size 2^{128} for Unified Multimodal Large Language Model

링크: 논문 PDF로 바로 열기

저자: Shaobin Zhuang, Yuang Ai, Jiaming Han, Weijia Mao, Xiaohui Li, Fangyikang Wang, Xiao Wang, Yan Li, Shanchuan Lin, Kun Xu, Zhenheng Yang, Huaibo Huang, Xiangyu Yue, Hao Chen, Yali Wang

핵심 연구 목표

본 논문은 통합 멀티모달 대규모 언어 모델(MLLM)이 요구하는 고충실도 재구성, 복합적인 의미 추출 및 생성 적합성을 동시에 지원하는 시각적 표현을 제공하는 문제를 해결하고자 합니다. 기존 시각 토크나이저들이 이러한 상충되는 목표들을 하나의 프레임워크 내에서 달성하는 데 어려움을 겪는 한계를 극복하는 것을 목표로 합니다.

핵심 방법론

본 연구는 2^128 규모의 대규모 이진 코드북 을 활용하는 UniWeTok 이라는 통합 이산 토크나이저를 제안합니다. 훈련 프레임워크로는 이산 토큰의 의미 추출 및 생성 사전 정보를 강화하기 위해 Pre-Post Distillation (PPD) 손실과 Generative-Aware Prior (GAP) 손실을 도입했습니다. 모델 아키텍처는 SigLu 활성화 함수 가 적용된 컨볼루션-어텐션 하이브리드 구조 를 특징으로 하며, 다양한 이미지 해상도와 민감한 시나리오에 대한 적응성을 높이기 위해 3단계 커리큘럼 학습 프레임워크 를 사용합니다.

주요 결과

ImageNet 데이터셋에서 UniWeTok은 1.38 FID 를 달성하여 기존 REPA (1.42 FID) 대비 최첨단 이미지 생성 성능을 보였으며, 훈련 토큰 수 33B 로 REPA (262B) 보다 현저히 낮은 훈련 비용을 기록했습니다. 일반 도메인에서는 멀티모달 이해, 이미지 생성( DPG Score: UniWeTok 86.63 vs. FLUX.1 83.84 ), 및 편집( GEdit Overall Score: UniWeTok 5.09 vs. OmniGen 5.06 ) 등 광범위한 작업에서 경쟁력 있는 성능을 입증했습니다.

AI 실무자를 위한 시사점

UniWeTok 은 고충실도 재구성, 의미 추출, 생성 능력이라는 세 가지 핵심 요구사항을 단일 프레임워크에서 통합함으로써 MLLM을 위한 시각 토크나이저의 새로운 기준을 제시합니다. 대규모 이진 코드북(2^128) 과 32배 공간 다운샘플링 은 효율적인 토큰화를 가능하게 하며, SigLu 활성화 함수 와 하이브리드 아키텍처 는 모델의 안정성과 성능을 향상시킵니다. 실무자들은 UniWeTok 을 활용하여 다양한 해상도와 이미지 콘텐츠에 유연하게 대응하는 MLLM을 구축하고, 기존의 복잡한 토크나이저 문제를 해결할 수 있을 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.