[논문리뷰] When Confidence Misleads: Suffix Anchoring and Anchor-Proximity Confidence Modulation for Diffusion Language Models본 논문은 Fully Non-AR DLM decoding 과정에서 나타나는 고질적인 생성 실패 문제를 해결하고자 한다. 기존의 확신도 기반 디코딩은 EOT(End-of-Text) 토큰에 과도하게 높은 확신도를 부여하여 응답이 불완전하게 생성되는 문제를 안고 있다 .#Review#Diffusion Language Models#Fully Non-Autoregressive Decoding#Suffix Anchoring#Confidence Modulation#Inference Optimization2026년 5월 31일댓글 수 로딩 중
[논문리뷰] GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language ModelsdLLMs는 기존의 Autoregressive Models(ARMs) 대비 효율적인 생성 성능을 제공하지만, 최적의 성능을 위해 필요한 강화학습(RL) 적용 시 정책 likelihood가 계산 불가능하다는 핵심적인 난관에 직면합니다.#Review#Diffusion Language Models#Reinforcement Learning#Self-Distillation#Training-Inference Mismatch#Logit Matching2026년 5월 31일댓글 수 로딩 중
[논문리뷰] Triplet-Block Diffusion RWKV본 논문은 Causal Transformer Language Models(LLMs)가 겪는 두 가지 핵심 한계를 해결하고자 합니다.#Review#Triplet-Block Layout#Diffusion Language Models#RWKV#Linear-time Recurrent Networks#Parallel Decoding#Inference Throughput2026년 5월 27일댓글 수 로딩 중
[논문리뷰] DMax: Aggressive Parallel Decoding for dLLMs본 논문은 dLLM을 위한 DMax 패러다임을 제안하며, 이는 예측의 self-refinement 과정을 임베딩 공간 내의 변환으로 재구성합니다. 핵심 기법인 OPUT은 학습 시 모델 스스로의 예측을 통해 noisy input을 구성함으로써 train-inference 간의 불일치를 줄여 자가 수정 능력을 극대화합니다 .#Review#Diffusion Language Models#Parallel Decoding#Error Accumulation#On-Policy Training#Self-Correction#Embedding Space2026년 4월 9일댓글 수 로딩 중
[논문리뷰] MemDLM: Memory-Enhanced DLM TrainingDiffusion Language Models (DLMs)는 병렬 생성(parallel generation) 및 양방향 context 인지(bidirectional context awareness) 등 Auto-Regressive (AR) 모델 대비 매력적인 이점을 제공한다.#Review#Diffusion Language Models#Train-Inference Mismatch#Bi-level Optimization#Parametric Memory#Fast Weights#Long-Context Understanding#Exposure Bias#In-Weight Retrieval2026년 3월 23일댓글 수 로딩 중
[논문리뷰] dLLM: Simple Diffusion Language Modeling이 논문은 확산 언어 모델(DLM) 의 훈련, 추론, 평가를 아우르는 통합된 오픈소스 프레임워크인 dLLM 을 제공하는 것을 목표로 합니다. DLM 연구의 진입 장벽을 낮추고, 기존 모델의 재현, 파인튜닝, 비교를 용이하게 하며, 새로운 DLM 설계 통합을 단순화하고자 합니다.#Review#Diffusion Language Models#Open-source Framework#Modular Design#Masked Diffusion#Block Diffusion#Language Model Finetuning#Efficient Inference#Evaluation Pipeline2026년 3월 1일댓글 수 로딩 중
[논문리뷰] Residual Context Diffusion Language ModelsDiffusion Large Language Models (dLLMs)가 병렬 디코딩의 잠재력에도 불구하고, 낮은 신뢰도의 토큰을 폐기하여 계산을 낭비하고 추론 정확도가 Autoregressive (AR) 모델에 뒤처지는 문제를 해결하고자 합니다.#Review#Diffusion Language Models#Residual Learning#Context Aggregation#Parallel Decoding#Masked Denoising#Reasoning Benchmarks#Entropy Weighting2026년 2월 4일댓글 수 로딩 중
[논문리뷰] FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation본 논문은 확산 언어 모델(dLLMs)의 비자기회귀적 잠재력을 완전히 활용하기 위해 기존 디코딩 전략의 위치 편향 문제 를 해결하고자 합니다. 이를 통해 dLLMs가 임의 순서 생성의 유연성을 발휘하고 전역적 양방향 문맥을 활용하여 출력의 전반적인 품질과 논리적 일관성을 향상시키는 것을 목표로 합니다.#Review#Diffusion Language Models#Non-Autoregressive Generation#Frequency Domain Analysis#Decoding Strategy#Structure-to-Detail#Fourier Transform#Text Generation2026년 2월 1일댓글 수 로딩 중
[논문리뷰] The Flexibility Trap: Why Arbitrary Order Limits Reasoning Potential in Diffusion Language Models이 논문은 Diffusion Large Language Models (dLLMs)의 핵심 이점으로 여겨지는 임의 순서(arbitrary order) 생성 능력 이 실제 추론 잠재력을 제한한다는 역설적인 현상을 밝히고, dLLM의 추론 능력을 더 효과적으로 이끌어내기 위한 새로운 RL 방법론 을 제시하는 것을 목표로 합니다.#Review#Diffusion Language Models#Reasoning#Reinforcement Learning#Autoregressive Models#Generation Order#Entropy Degradation#Pass@k#GRPO2026년 1월 22일댓글 수 로딩 중
[논문리뷰] Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models대부분의 확산 언어 모델(DLMs)이 사용하는 경직된 이진 마스킹 과 이산 토큰 할당 의 한계를 극복하고, 초기 결정의 수정 불가 및 중간 확률적 표현의 활용 미흡 문제를 해결하는 것을 목표로 합니다. 이를 통해 점진적이고 재수정 가능한 디코딩 을 지원하는 새로운 확산 기반 언어 모델을 제안하고자 합니다.#Review#Diffusion Language Models#Masked Diffusion#Soft Tokens#Progressive Decoding#Iterative Refinement#Continuous Trajectory Supervision#KV-Caching#Blockwise Diffusion2026년 1월 12일댓글 수 로딩 중
[논문리뷰] DiRL: An Efficient Post-Training Framework for Diffusion Language ModelsDiffusion Language Models (dLLMs)의 미흡한 post-training (특히 RL) 성능을 개선하여 수학적 추론 능력과 실제 배포 효율성을 향상시키는 것을 목표로 합니다.#Review#Diffusion Language Models#Post-Training#Reinforcement Learning#GRPO#FlexAttention#LMDeploy#Math Reasoning#SFT2025년 12월 29일댓글 수 로딩 중
[논문리뷰] Learning Unmasking Policies for Diffusion Language Models마스킹된 이산 확산 언어 모델(dLLMs)에서 토큰 마스킹 해제(unmasking) 방식이 추론 효율성과 생성 품질에 중요한 영향을 미칩니다.#Review#Diffusion Language Models#Reinforcement Learning#Masked Diffusion#Sampling Policy#Inference Optimization#Markov Decision Process#Generative AI#Text Generation2025년 12월 10일댓글 수 로딩 중
[논문리뷰] Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules본 논문은 확산 언어 모델(dLLM)이 오토회귀 모델에 비해 가지는 잠재력에도 불구하고, 느리고 반복적인 샘플링 과정으로 인해 실용성이 저해되는 문제를 해결하고자 합니다.#Review#Diffusion Language Models#Decoding Efficiency#Early Exit#Confidence Schedules#Training-free#Model-agnostic#Progress-aware2025년 12월 10일댓글 수 로딩 중
[논문리뷰] From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs본 논문은 순차적인 자동회귀(AR) LLM의 추론 병목 현상을 해결하고자 합니다.#Review#Diffusion Language Models#LLM Adaptation#Block-Diffusion#Autoregressive Models#Attention Masks#Parallel Generation#Transfer Learning#Generative Models2025년 12월 9일댓글 수 로딩 중
[논문리뷰] Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models본 연구는 Masked Diffusion Language Models (MDLMs) 의 컨텍스트 이해 능력을 체계적으로 조사하고, locality bias 및 마스크 토큰 사용이 성능에 미치는 영향을 파악하는 것을 목표로 합니다.#Review#Diffusion Language Models#Masked Diffusion Language Models#Context Comprehension#Locality Bias#Mask Tokens#Fine-tuning#Mask-agnostic Loss#Long-context Processing2025년 12월 2일댓글 수 로딩 중
[논문리뷰] Diffusion Language Models are Super Data Learners본 논문은 고품질 데이터 희소성이 LLM 훈련의 주요 병목이 되는 시대에, Autoregressive (AR) 모델 과 Diffusion Language Models (DLMs) 중 어떤 패러다임이 제한된 고유 데이터로부터 더 많은 신호를 추출하는지 규명하는 것을 목표로 합니다.#Review#Diffusion Language Models#Autoregressive Models#Data Efficiency#Scaling Laws#Data-Constrained Learning#Crossover Phenomenon#Pre-training#Masked Diffusion2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models본 논문은 확산 언어 모델(DLMs)의 기존 강화 학습(RL) 프레임워크의 한계를 해결하고자 합니다.#Review#Diffusion Language Models#Reinforcement Learning#Trajectory-aware RL#Value Model#Masked Diffusion Models#Large Language Models#Reasoning Tasks#Code Generation2025년 9월 9일댓글 수 로딩 중
[논문리뷰] Diffusion Language Models Know the Answer Before Decoding본 논문은 확산 언어 모델(DLM)의 주요 단점인 느린 추론 속도를 해결하는 것을 목표로 합니다.#Review#Diffusion Language Models#DLM Acceleration#Early Answer Convergence#Early Commit Decoding#Confidence Gap#Inference Speedup#Training-Free2025년 8월 28일댓글 수 로딩 중
[논문리뷰] A Survey on Diffusion Language Models본 설문조사는 지배적인 자기회귀(AR) 패러다임 에 대한 강력하고 유망한 대안으로 부상하고 있는 확산 언어 모델(DLM) 의 전체 생태계를 체계적으로 포괄적으로 조명하는 것을 목표로 합니다. DLM의 근본 원리, 기술, 한계 를 분석하고, 미래 연구 방향 을 제시하여 이 빠르게 발전하는 분야의 발전을 촉진하고자 합니다.#Review#Diffusion Language Models#Generative AI#Parallel Decoding#Text Generation#Multimodal AI#Model Compression#Reinforcement Learning from Human Feedback#Inference Optimization2025년 8월 15일댓글 수 로딩 중
[논문리뷰] Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models본 논문은 확산 언어 모델(dLLMs)이 텍스트를 생성하는 반복적인 디노이징 과정에서 '시간적 진동(temporal oscillation)' 이라는 중요한 현상을 규명하고, 이를 활용하여 모델 성능을 개선하는 것을 목표로 합니다.#Review#Diffusion Language Models#Temporal Oscillation#Self-Consistency Voting#Reinforcement Learning#Temporal Semantic Entropy#Text Generation2025년 8월 13일댓글 수 로딩 중
[논문리뷰] CoDA: Coding LM via Diffusion Adaptation논문은 AR(Autoregressive) 코드 생성 모델의 한계점, 즉 순차적 오류 전파, 양방향 컨텍스트 활용의 어려움, 코드 채우기(infilling) 기능의 부족을 해결하고자 합니다.#Review#Diffusion Language Models#Code Generation#Bidirectional Decoding#Text Infilling#Instruction Tuning#Lightweight Models#TPU Training2025년 10월 8일댓글 수 로딩 중
[논문리뷰] Attention Sinks in Diffusion Language ModelsDiffusion Language Models (DLMs)의 내부 메커니즘, 특히 다른 트랜스포머 아키텍처에서 관찰된 '어텐션 싱크(attention sink)' 현상 이 DLMs에서도 발생하는지 여부와 그 특성을 규명하는 것을 목표로 합니다.#Review#Diffusion Language Models#Attention Sinks#Transformer Architecture#Masked Language Modeling#Bidirectional Attention#Generative Models#Robustness#Dynamic Attention2025년 10월 23일댓글 수 로딩 중
[논문리뷰] dParallel: Learnable Parallel Decoding for dLLMs본 연구는 확산 언어 모델(dLLMs)이 가진 병렬 디코딩 잠재력 을 충분히 활용하지 못하는 문제, 즉 기존 dLLMs가 성능 유지를 위해 거의 토큰 길이만큼의 디코딩 스텝을 요구하는 병목 현상을 해결하는 것을 목표로 합니다.#Review#Diffusion Language Models#Parallel Decoding#Inference Acceleration#Certainty Distillation#Self-Distillation#Masked Language Models#LLaDA2025년 10월 1일댓글 수 로딩 중