[논문리뷰] AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling

링크: 논문 PDF로 바로 열기

저자: Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• AURORA-LM: 텍스트 표현 학습과 생성 분포 모델링을 분리한 연속형 잠재 공간(continuous latent space) 기반의 확산 언어 모델입니다.
• Block-Causal Denoiser: 문장 전체를 한 번에 모델링하지 않고, 블록 단위로 좌측에서 우측으로 순차적인 조건부 생성을 수행하며 블록 내에서는 병렬적인 디노이징을 지원하는 생성 모델 아키텍처입니다.
• Flow Matching: 노이즈 분포를 데이터 분포로 점진적으로 변환하는 속도장(velocity field)을 학습하여 결정론적 생성 경로를 형성하는 기법입니다.
• Query-based Encoder-Decoder: 고용량의 연속적 잠재 시퀀스를 구성하기 위해 가변 길이 토큰 시퀀스를 고정된 수의 잠재 쿼리로 집계하는 구조입니다.
• Self-Trajectory Consistency: 샘플링 경로상의 인접한 디노이징 상태 간의 예측 일관성을 강제하여 소규모 샘플링 단계에서도 고품질 생성을 가능하게 하는 정규화 기법입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 텍스트 생성에서 기존의 이산적 토큰(discrete tokens) 모델링 방식이 가진 구조적 제약을 극복하고, 언어 자체를 연속적인 잠재 공간에서 효과적으로 표현하고 생성하는 방식을 제안합니다. 기존의 연속형 언어 모델들은 생성이나 디코딩 편의성을 위해 표현 공간을 압축함으로써 토큰 수준의 충실도(fidelity)를 희생하는 단점이 있습니다. 저자들은 이러한 설계상의 타협을 거부하고, 고용량의 디코딩 가능한 텍스트 표현을 유지하면서도 확산 모델이 이를 직접 모델링할 수 있는 새로운 프레임워크를 개발하고자 하였습니다. [Figure 1]에서 볼 수 있듯이, 본 모델은 기존 연구들의 한계를 넘어선 성능을 달성하는 것을 목표로 합니다.

Figure 1 — 모델의 성능 지표를 기존 모델들과 비교하여 보여주는 핵심 시각화 자료

## 3. Method & Key Results (제안 방법론 및 핵심 결과) AURORA-LM은 표현 구축 단계와 분포 학습 단계를 분리하여, 훈련 과정에서 고용량의 잠재 표현을 보존하고 이를 Block-Causal Denoiser를 통해 생성하는 방식을 채택하였습니다. 먼저 Query-based Encoder-Decoder를 통해 이산적 텍스트를 고용량의 잠재 시퀀스로 매핑한 후, 이를 고정한 상태에서 Flow Matching을 적용하여 디노이징 분포를 학습합니다. 특히, noisy-input bottleneck 기법을 적용하여 연산 효율성을 극대화하면서도 전체적인 clean-latent 예측 성능을 유지하였습니다.

실험 결과, AURORA-LM-S(130M 파라미터) 모델은 OpenWebText에서 Gen-PPL 23.56, MAUVE 0.890을 기록하며 기존의 모든 베이스라인 모델을 상회하는 성능을 보였습니다. 또한 XSum 조건부 요약 과제에서도 ROUGE-1 36.6을 달성하여 우수한 생성 품질을 입증하였습니다. [Table 4]에서 나타난 바와 같이, 1B 파라미터로 확장된 AURORA-LM-L은 기존 공개 모델인 Cola-DLM 대비 벤치마크 평균 성능이 32.6%로 훨씬 높게 측정되어 확장성 측면에서도 우위를 점하였습니다.

Table 4 — 대규모 모델 스케일링 평가에서 이전 모델 대비 우월한 성능을 보여주는 정량적 비교 결과

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 고용량의 인과 구조를 가진 연속형 텍스트 표현이 이산적 토큰 디코딩과 확산 기반 생성 모델 사이의 효과적인 가교 역할을 할 수 있음을 실증적으로 제시하였습니다. 이는 기존의 이산적 언어 모델 중심 패러다임에서 벗어나, 언어를 시각이나 청각 신호처럼 연속적인 공간에서 정교하게 제어할 수 있는 가능성을 확장하였습니다. 향후 이 프레임워크는 더욱 긴 컨텍스트 모델링 및 다중 모달 통합 생성 연구에 핵심적인 기반이 될 것으로 기대됩니다.

Figure 3 — 데이터 흐름과 인코더-디코더 및 디노이저 구조를 설명하는 핵심 아키텍처 다이어그램

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.