[논문리뷰] Representation-Space MMD for Diffusion Language Models기존 Diffusion Language Models (DLMs)는 노이즈 입력을 정제하여 텍스트를 생성하지만, conditional estimates가 반드시 고품질 샘플을 적은 스텝으로 생성하지는 못하는 한계가 있다.Diffusion distillation과 같은 기존 방법들은 샘플링 효율성을 개선했으나, teacher-derived targets나 jointly trained auxiliary models이 필요하다는…#Review#Diffusion Language Models (DLMs)#Maximum Mean Discrepancy (MMD)#Representation Space#Policy Gradients#Self-conditioning#Generative Perplexity#Accuracy-Computation Trade-off2026년 10월 5일댓글 수 로딩 중
[논문리뷰] E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models본 연구는 MDM에서 발생하는 Factorization Error 문제를 해결하여 특히 적은 NFE 환경에서의 생성 품질을 향상시키는 것을 목표로 합니다. 기존의 MDM은 계산 효율성을 위해 토큰 예측을 독립적으로 수행하는데, 이는 생성 시 토큰 간의 의존성을 무시하게 하여 결과물의 일관성을 저해합니다 .#Review#Masked Diffusion Models#Mixture-of-Experts#Discrete Latent#Factorization Error#Generative Perplexity#Non-Factorized Diffusion2026년 10월 1일댓글 수 로딩 중
[논문리뷰] Simplex Relaxation for Discrete Diffusion본 논문은 기존 Uniform Discrete Diffusion 모델에서 범주형 corruption 과정을 유지하면서도 학습 목적함수와 역방향 샘플러의 성능을 고도화하는 것을 목표로 합니다. 기존 연구들은 역방향 업데이트를 순수하게 범주형 상태만으로 설계하여 학습 및 샘플링 과정의 제약이 컸습니다 .#Review#Discrete Diffusion#Categorical Generation#Simplex Relaxation#Dirichlet-Categorical Augmentation#Rao-Blackwellized#Generative Perplexity2026년 8월 12일댓글 수 로딩 중