[논문리뷰] DiffResearch: Accelerating Deep Research with Diffusion Language Models

링크: 논문 PDF로 바로 열기

The paper "DiffResearch: Accelerating Deep Research with Diffusion Language Models" by Alan-Barsag Gazzaev, Alexey Gavrilov, Mikhail Mozikov, and Sergey Muravyov was accepted to EMNLP 2026 Industry Track.

Here's the information I need to extract:

• Authors: Alan-Barsag Gazzaev, Alexey Gavrilov, Mikhail Mozikov, Sergey Muravyov
• Keywords: Diffusion Language Models, Deep Research Systems, Multi-Agent Frameworks, Latency Reduction, Report Quality, Iterative Denoising, Text Generation, Agentic Pipelines. (I will pick 5-8 from these)
• Key Terms & Definitions: Deep Research (DR) systems, Autoregressive (AR) LLMs, Diffusion Language Models (dLLMs), dFast, RACE rubric, End-to-End Latency.
• Motivation & Problem Statement: Current DR systems use AR LLMs, leading to high End-to-End Latency due to sequential decoding in planning and writing stages. Limited revision ability.
• Methodology: DiffResearch framework uses dLLM as the core of every agent. It has two operating modes: full and fast. Fast mode extracts subqueries from intermediate denoising states. Controlled comparison with AR backbone.
• Key Results: dLLM backbone is ~6x faster End-to-End than AR, driven by 10.7x reduction in planning and 11.7x reduction in writing. dFast mode provides 1.99x median speedup for decomposition in isolation without quality loss. dFast also achieves the best overall RACE score. A stronger diffusion model (Mercury-backed DiffResearch) ranks above several commercial systems on a public leaderboard.
• Conclusion & Impact: Diffusion decoding significantly reduces latency in model-bound stages (planning, writing) without sacrificing report quality. The dFast mode enhances decomposition speed. Diffusion-based systems are competitive with commercial AR-based systems.

Figures to select:

• Table 1: End-to-end latency (seconds) over the 100 Deep Research Bench tasks. (Key quantitative result)
• Table 2: Mean per-stage latency (seconds). (Breakdown of where time goes)
• Table 4: Quality diagnostics. (RACE scores and other quality metrics)

Let's start structuring the output.

Figure URLs: I need to find the src attributes for the tables. For Table 1:

<table class="ltx_t_float_table" id="S5.T1">
<caption><span class="ltx_tag ltx_tag_table">Table 1: </span>End-to-end latency (seconds) over the 100 Deep Research Bench tasks. Both diffusion modes are about 6×<span class="ltx_text ltx_font_italic">6</span><span class="ltx_text ltx_font_italic">×</span> faster than AR, while dFast provides no additional end-to-end reduction over dFull.</caption>
<colgroup><col class="ltx_align_left ltx_font_typewriter ltx_border_r"/><col class="ltx_align_right ltx_font_typewriter ltx_border_r"/><col class="ltx_align_right ltx_font_typewriter ltx_border_r"/><col class="ltx_align_right ltx_font_typewriter ltx_border_r"/><col class="ltx_align_right ltx_font_typewriter ltx_border_r"/></colgroup><thead><tr><th class="ltx_align_left ltx_font_typewriter ltx_border_r">Mode</th><th class="ltx_align_right ltx_font_typewriter ltx_border_r">mean</th><th class="ltx_align_right ltx_font_typewriter ltx_border_r">p50</th><th class="ltx_align_right ltx_font_typewriter ltx_border_r">p90</th><th class="ltx_align_right ltx_font_typewriter ltx_border_r">vs AR</th></tr></thead><tbody><tr><td class="ltx_align_left ltx_font_typewriter ltx_border_r">AR</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">71.45</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">48.78</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">111.87</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">1.0×1.0\times</td></tr><tr><td class="ltx_align_left ltx_font_typewriter ltx_border_r">dFull</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">11.89</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">11.87</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">16.13</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">6.0×6.0\times</td></tr><tr><td class="ltx_align_left ltx_font_typewriter ltx_border_r">dFast</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">11.97</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">12.07</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">16.33</td><td class="ltx_align_right ltx_font_typewriter ltx_border_r">6.0×6.0\times</td></tr></tbody></table>

It looks like Tables 1, 2, 3, 4, 5 are all HTML tables, not images. The instruction clearly states: "Table은 이미지가 아닌 HTML 테이블인 경우가 많습니다. 이미지 <img> 태그가 있는 Figure만 선별하세요." This means I cannot select any of these tables for the JSON part, as they are not images. Therefore, the JSON part will be an empty array []. This is important to note and follow strictly.

Let's re-check for any actual <img> tags for figures. Scrolling through the HTML output, I don't see any <img> tags that correspond to figures. All the numerical results are presented in HTML tables. The only image I see is the LaTeXML logo. Therefore, the JSON for figures must be empty. This simplifies the figure citation rule as I won't have any figures to cite. However, I still need to make sure I don't mention [Figure N] or [Table N] in the text. I will refer to them simply by their numbers, e.g., "Table 1". Wait, the instruction says: "Part 2에서 선별한 Figure/Table은 본문의 관련 문맥 바로 뒤에 [Figure N] 또는 [Table N] 형태로 반드시 삽입하세요." and "선별하지 않은 Figure/Table 번호는 본문에서 절대 언급하지 마세요." This creates a contradiction. If I cannot select any figures because they are not <img> tags, then I cannot reference any [Figure N] or [Table N] in the text. But the instructions for writing the summary implicitly assume I might reference tables for quantitative results.

Let me clarify the instruction: "Part 2: 중요 Figure 정보" states: "Table은 이미지가 아닌 HTML 테이블인 경우가 많습니다. 이미지 <img> 태그가 있는 Figure만 선별하세요." This means if it's an HTML table, it cannot be selected. Only figures that are images (with <img> tags) can be selected. Since all the important numerical results (Table 1, Table 2, Table 3, Table 4, Table 5) are presented as HTML tables and not as <img> tags, I cannot select any of them for "Part 2".

This implies that I cannot use [Table N] citations in the summary, as there will be no Part 2 selected items. I must refer to them simply as "Table 1" or "Table 2" without the bracketed citation format, and then not include them in the JSON output. This means I also don't need to worry about image_url for tables.

Okay, I will proceed with mentioning "Table 1" etc. in the text without the [Table N] citation format and provide an empty JSON array for figures. This aligns with the strict interpretation of "이미지 <img> 태그가 있는 Figure만 선별하세요."

Let's re-read the citation rule very carefully: "Each sentence in the response which refers to a browsed result MUST end with a citation, in the format "Sentence. [cite:INDEX]", where "cite" is the citation constant and INDEX is a snippet index."

This means any reference to the browsed content must have if it's from the provided document. So, if I talk about "Table 1" or "Table 2", those *are* browsed results. So I need to add after the sentence referencing them. However, the other citation rule "Figure/Table 참조 규칙 (매우 중요 — 반드시 준수)" says: "1. Part 2에서 선별한 Figure/Table은 본문의 관련 문맥 바로 뒤에 [Figure N] 또는 [Table N] 형태로 반드시 삽입하세요." "3. 선별한 Figure는 본문에서 반드시 1회 이상 참조해야 합니다. 참조 없이 선별만 하면 안 됩니다." "4. Part 2에서 선별하지 않은 Figure/Table 번호는 본문에서 절대 언급하지 마세요."

This is a critical conflict. If I select no figures/tables for Part 2 (because none are <img> tags), then rule 4 means I cannot mention "Table 1" or "Figure 1" at all in the summary. This would make it impossible to discuss the quantitative results properly, as they are all in tables.

Let me re-evaluate the "Figure/Table 참조 규칙". It specifically mentions [Figure N] or [Table N]. If I must discuss the quantitative results (which are in tables), and I cannot use [Table N] because I cannot "select" the tables for Part 2 (due to no <img> tag), then how should I reference them? The most reasonable interpretation to fulfill the "핵심 내용을 명확하고 전문적으로 요약" requirement while adhering to the "Figure/Table 참조 규칙" is to not use [Table N] in the text and instead describe the data in the tables directly, followed by ``.

So, I will describe the findings from Table 1, Table 2, etc., but I won't explicitly say "Table 1 shows..." followed by [Table 1]. Instead, I'll say "End-to-end latency results indicate..." followed by ``. This is the only way to avoid violating rule 4, which forbids mentioning any table/figure number that wasn't selected for Part 2, while still fulfilling the prompt's core task of summarizing the paper and its results.

Final check on this interpretation:

• "Part 1": Summarize using technical terms, natural Korean, metadata, specific sections.
• "Part 2": JSON for max 3 figures (images), with image_url. If no <img> tags, then [].
• "Figure/Table 참조 규칙": [Figure N] or [Table N] only for items selected in Part 2.
• "Citations": Any sentence referring to browsed result must end with [cite:INDEX].

Given that all quantitative results are in HTML tables (not images), I cannot select any of them for Part 2. This means I cannot use [Table N] in the main text. However, I must discuss these quantitative results. Therefore, I will discuss the results presented in the tables, such as "End-to-end latency is approximately 6x faster", and end such sentences with ``. I will not explicitly mention "Table 1" or "Table 2" by their number in the main text to avoid violating the "선별하지 않은 Figure/Table 번호는 본문에서 절대 언급하지 마세요" rule. This makes the summary slightly less direct in referencing the data presentation, but it strictly follows the figure rules.

Let's gather the main points for the summary: Authors: Alan-Barsag Gazzaev, Alexey Gavrilov, Mikhail Mozikov, Sergey Muravyov Keywords: Diffusion Language Models, Deep Research Systems, Multi-Agent Frameworks, Latency Reduction, Report Quality, Scientific Text Generation, Research Automation

1. Key Terms & Definitions

• Deep Research (DR) systems: LLM을 활용하여 다단계 웹 탐색, 타겟팅된 정보 검색, 고차원적 합성 과정을 자율적으로 수행하여 인용 기반 보고서를 생성하는 시스템.
• Autoregressive (AR) LLMs: 토큰을 왼쪽에서 오른쪽으로 순차적으로 디코딩하는 기존 LLM으로, DR 시스템의 각 단계에서 순차적 병목 현상을 유발하는 아키텍처.
• Diffusion Language Models (dLLMs): 반복적인 디노이징 과정을 통해 텍스트를 병렬적으로 정제하는 생성 패러다임을 사용하는 LLM으로, 생성 속도 및 전역적 일관성 측면에서 이점을 제공.
• DiffResearch: 모든 에이전트가 dLLM 인스턴스로 구성된 오픈 딥 리서치 프레임워크로, AR LLM 백본과 비교하여 dLLM 백본의 지연 시간 및 보고서 품질 변화를 측정하는 것을 목표로 함.
• dFast: DiffResearch의 한 Operating Mode로, Diffusion Decomposition Agent가 생성 완료 전에 중간 디노이징 상태에서 서브쿼리를 추출하여 분해(decomposition) 프로세스의 속도를 높이는 방식.

2. Motivation & Problem Statement 현재 대부분의 Deep Research (DR) 시스템은 Autoregressive (AR) LLMs를 기반으로 구축되어, 계획 및 장문 작성을 포함한 모든 단계에서 left-to-right 디코딩의 inherent한 제약으로 인해 End-to-End Latency가 심각한 병목 현상으로 작용한다. 기존 AR 기반 시스템은 각 섹션을 순차적으로 작성하며, 새로운 증거가 나중에 확보될 경우 이전 내용을 수정하는 능력이 제한되어 초기 구조적 결정의 오류가 보고서 전체로 전파될 수 있는 한계가 존재한다. 또한, 여러 검색 쿼리를 발행할 때 AR 디코딩은 토큰을 하나씩 생성하므로, 모든 쿼리가 생성 완료될 때까지 다운스트림 검색이 지연되는 비효율성을 야기한다. 이러한 문제점들은 인터랙티브한 리서치 어시스턴트의 사용자 경험을 저해하며, Diffusion Language Models (dLLMs)가 제공하는 병렬 생성 패러다임이 이러한 Latency 문제를 해결하고 글로벌 Coherence를 향상시킬 수 있는 잠재력을 가졌음에도 불구하고, 에이전트 파이프라인에 통합되어 그 실질적인 Latency 영향을 직접적으로 측정한 연구는 부족하다.

3. Method & Key Results 본 논문은 기존 AR LLM의 Latency 병목을 해결하기 위해 모든 에이전트가 Diffusion Language Model (dLLM) 인스턴스로 구성된 오픈 멀티 에이전트 딥 리서치 프레임워크 DiffResearch를 제안한다. DiffResearch는 Intent Classification, Query Reformulation, Planning, Retrieval, Writing, 그리고 선택적인 Judging 단계를 포함하는 표준 Agentic Scaffold를 활용하며, 핵심적으로 dLLM 기반의 Writing Stage가 전체 보고서를 섹션별이 아닌 병렬적으로 작성하고 정제한다. 이 프레임워크는 Full mode와 Fast mode 두 가지 Operating Mode를 지원하는데, 특히 dFast는 Diffusion Decomposition Agent가 생성 완료 전에 중간 Denoising State에서 서브쿼리 세트를 추출하여 Decomposer Latency를 최적화한다.

실험 결과, Deep Research Bench의 100개 태스크에서 DiffResearch의 Diffusion Backbone은 Autoregressive (AR) Backbone 대비 End-to-End Latency를 약 6배 (평균 71.45초에서 11.89초로 감소) 가속화하는 것으로 나타났다. 이러한 성능 향상은 주로 Planning Stage에서 약 10.7배 (평균 39.32초에서 3.68초로 감소) 와 Writing Stage에서 약 11.7배 (평균 59.78초에서 5.11초로 감소) 의 시간 단축에 기인한다. 특히 dFast 모드는 Decomposition Stage에서 독립적으로 1.99배의 Median Speedup을 달성했으며, 이는 중간 Denoising State에서 서브쿼리를 조기에 추출함으로써 가능하다. Report Quality 측면에서, Diffusion Fast Mode는 RACE rubric에서 0.3969의 Best Overall Score를 기록하며, dFull (0.3895) 및 AR (0.3904) 대비 품질 저하 없이 오히려 우수한 성능을 보였다. 또한, 더 강력한 Diffusion Model인 Mercury를 백본으로 사용한 DiffResearch 시스템은 공개 Deep Research Bench Leaderboard에서 48.03점을 기록하며 OpenAI Deep Research (46.45점), Dr. Tulu (45.49점) 등 여러 상업 시스템을 능가하는 경쟁력을 입증했다.

4. Conclusion & Impact 본 연구는 Diffusion Language Models (dLLMs)를 Deep Research (DR) 시스템의 백본으로 활용할 경우 Autoregressive (AR) LLMs 대비 Latency를 크게 줄일 수 있음을 명확히 입증한다. 특히, Planning 및 Writing과 같이 모델 의존적인 핵심 단계에서 10배 이상의 Latency 감소를 통해 전체 End-to-End Latency를 약 6배 가속화하면서도 Report Quality를 유지하거나 심지어 향상시키는 결과를 보여주었다. dFast 모드를 통한 Decomposition Stage의 효율성 증대는 Diffusion Decoding의 유연성을 활용하여 중간 생성 상태에서 유용한 정보를 조기에 추출할 수 있는 가능성을 제시한다. 이 연구는 학계에 dLLMs가 에이전트 기반 시스템에서 AR 모델의 대안이 될 수 있음을 시사하며, 산업계에는 인터랙티브한 고품질 리서치 어시스턴트 개발을 위한 새로운 아키텍처적 방향을 제시한다. 궁극적으로 DiffResearch는 복잡한 연구 태스크의 자동화를 가속화하고 AI 기반 리서치 도구의 실용성을 높이는 데 중요한 기여를 할 것으로 기대된다.

This looks good. Now for the JSON part. Since no figures (images) were found, it should be an empty array.

I need to make sure to replace with the appropriate snippet index, which is `1` since there's only one browsed URL. Also, the prompt mentions `[Figure N]` or `[Table N]` in the "Figure/Table 참조 규칙" and then gives an example `[Figure 2]`. This still implies that if I *could* select them, I'd use that format. But given the restriction, I won't. I'll just refer to the content and use.

Okay, I'm confident in the interpretation now. I will generate the response.저자: Alan-Barsag Gazzaev, Alexey Gavrilov, Mikhail Mozikov, Sergey Muravyov

1. Key Terms & Definitions (핵심 용어 및 정의)

• Deep Research (DR) systems: LLM을 활용하여 다단계 웹 탐색, 타겟팅된 정보 검색, 고차원적 합성 과정을 자율적으로 수행하여 인용 기반 보고서를 생성하는 시스템.
• Autoregressive (AR) LLMs: 토큰을 왼쪽에서 오른쪽으로 순차적으로 디코딩하는 기존 LLM으로, DR 시스템의 각 단계에서 순차적 병목 현상을 유발하는 아키텍처.
• Diffusion Language Models (dLLMs): 반복적인 Denoising 과정을 통해 텍스트를 병렬적으로 정제하는 생성 패러다임을 사용하는 LLM으로, 생성 속도 및 전역적 Coherence 측면에서 이점을 제공.
• DiffResearch: 모든 에이전트가 dLLM 인스턴스로 구성된 오픈 Deep Research Framework로, AR LLM 백본과 비교하여 dLLM 백본의 Latency 및 Report Quality 변화를 측정하는 것을 목표로 함.
• dFast: DiffResearch의 한 Operating Mode로, Diffusion Decomposition Agent가 생성 완료 전에 중간 Denoising State에서 Subquery를 추출하여 Decomposition 프로세스의 속도를 높이는 방식.
• RACE rubric: Deep Research Bench에서 보고서를 평가하는 프레임워크로, Comprehensiveness, Insight, Instruction-following, Readability 등 여러 차원에 걸쳐 점수를 매기며 종합적인 Overall Score를 산출한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

현재 대부분의 Deep Research (DR) 시스템은 Autoregressive (AR) LLMs를 기반으로 구축되어, 계획 및 장문 작성을 포함한 모든 단계에서 left-to-right 디코딩의 inherent한 제약으로 인해 End-to-End Latency가 심각한 병목 현상으로 작용한다. 기존 AR 기반 시스템은 각 섹션을 순차적으로 작성하며, 새로운 증거가 나중에 확보될 경우 이전 내용을 수정하는 능력이 제한되어 초기 구조적 결정의 오류가 보고서 전체로 전파될 수 있는 한계가 존재한다. 또한, 에이전트가 여러 검색 쿼리를 발행할 때 AR 디코딩은 토큰을 하나씩 생성하므로, 모든 쿼리가 생성 완료될 때까지 다운스트림 검색이 지연되는 비효율성을 야기한다. 이러한 문제점들은 인터랙티브한 리서치 어시스턴트의 사용자 경험을 저해하며, Diffusion Language Models (dLLMs)가 제공하는 병렬 생성 패러다임이 이러한 Latency 문제를 해결하고 글로벌 Coherence를 향상시킬 수 있는 잠재력을 가졌음에도 불구하고, 에이전트 파이프라인에 통합되어 그 실질적인 Latency 영향을 직접적으로 측정한 연구는 부족하다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 기존 AR LLM의 Latency 병목을 해결하기 위해 모든 에이전트가 Diffusion Language Model (dLLM) 인스턴스로 구성된 오픈 멀티 에이전트 Deep Research Framework DiffResearch를 제안한다. DiffResearch는 Intent Classification, Query Reformulation, Planning, Retrieval, Writing, 그리고 선택적인 Judging 단계를 포함하는 표준 Agentic Scaffold를 활용하며, 핵심적으로 dLLM 기반의 Writing Stage가 전체 보고서를 섹션별이 아닌 병렬적으로 작성하고 정제한다. 이 프레임워크는 Full mode와 Fast mode 두 가지 Operating Mode를 지원하는데, 특히 dFast는 Diffusion Decomposition Agent가 생성 완료 전에 중간 Denoising State에서 Subquery 세트를 추출하여 Decomposer Latency를 최적화한다.

실험 결과, Deep Research Bench의 100개 태스크에서 DiffResearch의 Diffusion Backbone은 Autoregressive (AR) Backbone 대비 End-to-End Latency를 약 6배 (평균 71.45초에서 11.89초로 감소) 가속화하는 것으로 나타났다. 이러한 성능 향상은 주로 Planning Stage에서 약 10.7배 (평균 39.32초에서 3.68초로 감소) 와 Writing Stage에서 약 11.7배 (평균 59.78초에서 5.11초로 감소) 의 시간 단축에 기인한다. 특히 dFast 모드는 Decomposition Stage에서 독립적으로 1.99배의 Median Speedup을 달성했으며, 이는 중간 Denoising State에서 Subquery를 조기에 추출함으로써 가능하다. Report Quality 측면에서, Diffusion Fast Mode는 RACE rubric에서 0.3969의 Best Overall Score를 기록하며, dFull (0.3895) 및 AR (0.3904) 대비 품질 저하 없이 오히려 우수한 성능을 보였다. 또한, 더 강력한 Diffusion Model인 Mercury를 백본으로 사용한 DiffResearch 시스템은 공개 Deep Research Bench Leaderboard에서 48.03점을 기록하며 OpenAI Deep Research (46.45점), Dr. Tulu (45.49점) 등 여러 상업 시스템을 능가하는 경쟁력을 입증했다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Diffusion Language Models (dLLMs)를 Deep Research (DR) 시스템의 백본으로 활용할 경우 Autoregressive (AR) LLMs 대비 Latency를 크게 줄일 수 있음을 명확히 입증한다. 특히, Planning 및 Writing과 같이 모델 의존적인 핵심 단계에서 10배 이상의 Latency 감소를 통해 전체 End-to-End Latency를 약 6배 가속화하면서도 Report Quality를 유지하거나 심지어 향상시키는 결과를 보여주었다. dFast 모드를 통한 Decomposition Stage의 효율성 증대는 Diffusion Decoding의 유연성을 활용하여 중간 생성 상태에서 유용한 정보를 조기에 추출할 수 있는 가능성을 제시한다. 이 연구는 학계에 dLLMs가 에이전트 기반 시스템에서 AR 모델의 대안이 될 수 있음을 시사하며, 산업계에는 인터랙티브한 고품질 리서치 어시스턴트 개발을 위한 새로운 아키텍처적 방향을 제시한다. 궁극적으로 DiffResearch는 복잡한 연구 태스크의 자동화를 가속화하고 AI 기반 리서치 도구의 실용성을 높이는 데 중요한 기여를 할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.