[논문리뷰] YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction

링크: 논문 PDF로 바로 열기

The content is quite long, I will now parse it and extract the required information.

Authors: Shengyu Wang, Tengyue Nong, Junming Liu, Haosong Peng, Siyu Li, Ruiqi Lei, Fushuo Huo, Yuhao Pan, Yunfeng Fan, Ding Wang, Nan Cheng, Haozhao Wang, Wenchao Xu. I need to select the first two and use "et al." for the rest. Keywords: I will look for 5-8 academic keywords related to the paper's domain. The paper introduces "YANAMI", a "Large-Scale Multimodal Dataset" and "Benchmark" for "Multiturn Stateful Interaction" across "Unified Multimodal Models (UMMs)", focusing on "Dialogue State Understanding (DSU)" and "Visual Realization (VR)". It covers scenarios like "Multi-Image Fusion", "Image Editing", "World Modeling", and "Visual Reasoning". It also discusses "VLM-as-a-Judge" for evaluation.

Let's refine these into 5-8 academic keywords. Multimodal Dataset, Stateful Interaction, Dialogue System, Unified Multimodal Models, Visual Reasoning, Image Editing, Benchmark, VLM-as-a-Judge. This seems good.

Part 1: Summary

## 1. Key Terms & Definitions

• Unified Multimodal Models (UMMs): Visual understanding, generation, and editing를 하나의 프레임워크 내에서 통합하는 모델.
• Stateful Interaction: 사용자-어시스턴트 간의 대화에서 여러 턴에 걸쳐 evolving dialogue state를 이해, 유지, 업데이트 및 faithfully realize하는 것을 요구하는 상호작용.
• Dialogue State Understanding (DSU): 모델이 전체 상호작용 기록으로부터 현재 유효한 multimodal state를 추론할 수 있는 능력.
• Visual Realization (VR): 생성된 이미지가 현재 dialogue state를 faithfully realize하는지 여부를 측정하는 능력.
• VLM-as-a-Judge: Multimodal dialogue system의 성능을 자동으로 평가하기 위해 VLM을 평가 도구로 활용하는 프레임워크.

## 2. Motivation & Problem Statement Current Unified Multimodal Models (UMMs)는 이미지 이해, 생성 및 편집 기능을 통합하지만 기존 데이터셋 및 벤치마크는 주로 single-turn tasks에 초점을 맞추고 있어, 복잡한 multi-turn multimodal interaction에 대한 supervision과 evaluation이 제한적이다. 기존 multi-turn 데이터셋조차도 많은 턴이 cross-turn information tracking 없이 독립적으로 해결될 수 있어, 모델이 evolving dialogue states를 이해, 유지, 업데이트하고 시각적 출력으로 faithfully realize하는 데 필요한 능력을 제대로 평가하지 못한다. 이러한 한계점은 real-world의 점진적인 이미지 생성 및 편집 과정에서 요구되는 continuous multi-turn stateful interaction의 탐색을 제한한다.

## 3. Method & Key Results 본 논문은 multimodal stateful interaction을 위한 대규모 데이터셋 및 벤치마크인 YANAMI를 제안한다. YANAMI는 YANAMI-400K와 YANAMI-Bench로 구성된다. YANAMI-400K는 400K개의 multi-turn multimodal dialogues를 포함하며, 2M개 이상의 이미지와 2.6M개의 대화 턴으로 Multi-Image Fusion, Image Editing, World Modeling, Visual Reasoning의 네 가지 시나리오를 아우른다. 이 데이터셋은 Reference Resolution, Context Retrieval, Consistency Maintenance, Spatial and Physical Consistency, Constraint Keeping, Correction-Based State Updating의 여섯 가지 key capabilities를 명시적으로 포함하여 진정한 stateful interaction을 보장한다. [Figure 2]

YANAMI-Bench는 multi-turn dialogue를 통해 multimodal dialogue state를 추적, 유지, 업데이트하는 모델의 능력을 체계적으로 평가하기 위해 400개의 multi-turn dialogues로 구성된다. YANAMI-Bench는 Dialogue State Understanding (DSU)과 Visual Realization (VR)의 두 가지 상보적인 측면을 공동으로 평가한다. DSU는 모델이 interaction history로부터 현재 유효한 multimodal state를 추론하는 능력을, VR은 생성된 이미지가 현재 dialogue state를 faithfully realize하는지를 평가한다. 평가에는 VLM-as-a-Judge 프레임워크가 사용되며, DSU는 Reference Resolution, Context Retrieval, Constraint Tracking, Correction Updating의 네 가지 차원에서, VR은 Visual Quality와 State Consistency로 평가된다. [Figure 3]

실험 결과, YANAMI-400K로 BAGEL 모델을 fine-tuning했을 때, image editing 성능이 10.3%, image generation 성능이 2.0%, multimodal stateful interaction 성능이 13.23% 향상되었다. 동시에 일반적인 visual understanding capabilities는 유지되었다. YANAMI-Bench에 대한 평가는 기존 UMMs가 evolving multimodal dialogue states를 유지, 업데이트, 시각적으로 realize하는 데 여전히 어려움을 겪고 있음을 보여준다. 특히, 최신 closed-source 모델인 GPT-Image-2와 Nano Banana 2는 각각 83.05와 80.93의 평균 점수를 달성하며 오픈소스 모델 대비 상당한 격차를 보였다 [cite: 1, Table 2]. BAGEL + YANAMI-400K는 Visual Reasoning DSU Average에서 93.00을 기록하여 기존 BAGEL의 78.25 대비 크게 개선되었다 [cite: 1, Table 12]. Image Editing DSU Average 역시 98.00으로 기존 76.50 대비 크게 향상되었다 [cite: 1, Table 14].

## 4. Conclusion & Impact YANAMI는 multimodal stateful interaction을 위한 최초의 대규모 데이터셋 및 벤치마크로서, UMMs의 이해, 생성, 편집 능력을 포괄적으로 다룬다. 본 연구는 YANAMI-400K를 통해 multi-turn contextual understanding, image generation, image editing 능력을 향상시키고, YANAMI-Bench를 통해 기존 UMMs가 dialogue states를 유지, 업데이트, 시각적으로 realize하는 데 여전히 직면한 challenges를 명확히 보여준다. YANAMI는 robust한 multimodal stateful interaction을 위한 UMMs 훈련 및 평가에 통일된 기반을 제공하며, 향후 더 복잡하고 현실적인 사용자-어시스턴트 interaction 연구를 위한 중요한 발판을 마련한다.

Part 2: Figures

I need to identify the most important figures and extract their URLs and captions. Looking at the content, I see:

• Figure 1: YANAMI: the first large-scale multimodal dialogue dataset and benchmark for stateful interaction. (It is mentioned, but its content is likely a high-level overview or an example flow. I will check if there's a more architectural figure). It refers to the example flow, I will check Figure 2 and 3 first.
• Figure 2: Representative examples from YANAMI-400K. The four columns present evolving multimodal dialogues in four interaction scenarios: (a) multi-image fusion, (b) image editing, (c) world modeling, and (d) visual reasoning. Across turns, subsequent responses retrieve, maintain, and update the accumulated dialogue state. Colored text highlights six key capabilities.
  • This figure clearly shows the examples of the data and the stateful interaction. This is important.
  • Image URL: https://arxiv.org/html/2611.05280v1/figures/fig1-a.png (This is tricky. The caption refers to "Fig. 1", but the actual image element is /figures/fig1-a.png. I will use the actual src from the HTML). Let me re-check. The HTML itself links "Refer to caption Figure 1" to an image that's actually figures/fig1-b.png after inspecting the HTML source. It seems they use Figure 1 in the text to refer to the concept of YANAMI, and Fig. 1 or Figure 2 etc for concrete examples.
  • Re-checking the HTML:
    • "Refer to caption Figure 1: YANAMI: the first large-scale multimodal dialogue dataset and benchmark for stateful interaction." - This is an alt text for an uncaptioned image. The actual image is /figures/fig1-a.png.
    • "Refer to caption Figure 2: Representative examples from YANAMI-400K." - This is figures/fig2.png. This is a good candidate.
    • "Refer to caption Figure 3: Overview of the YANAMI data pipeline." - This is figures/fig3.png. This is a very good candidate as it shows the architecture.
    • "Figure 6: Analysis of stateful multi-turn multimodal interaction. (a) Measuring the understanding-realization gap, lower is better; (b) comparing performance at the first and last image-generation turns under GT-History; (c) comparing GT-History with Self-History on dialogues." - This contains key results graphs. Good candidate.

I'll pick Figure 3 (pipeline/architecture), Figure 2 (data examples), and Figure 6 (key results).

Let's extract the actual image URLs. From the HTML content:

• Figure 1 (concept, referred as Fig. 1 in text) is actually figures/fig1-a.png (which is often displayed near the abstract).
• Figure 2: figures/fig2.png
• Figure 3: figures/fig3.png
• Figure 6: figures/fig6.png

So I will use Figure 2, 3, and 6.

Figure 2 image URL: https://arxiv.org/html/2611.05280v1/figures/fig2.png Figure 3 image URL: https://arxiv.org/html/2611.05280v1/figures/fig3.png Figure 6 image URL: https://arxiv.org/html/2611.05280v1/figures/fig6.png

Captions (Korean, 10자 이내):

• Figure 2: YANAMI-400K 예시
• Figure 3: YANAMI 데이터 파이프라인
• Figure 6: 상호작용 분석 결과

Final check on constraints:

1. Technical Terminology in English: Yes, used terms like Granularity, Outlier, Throughput, Latency, End-to-End, etc. (Wait, I used more specific ones like UMM, DSU, VR, Stateful Interaction). This is fine.
2. Natural Korean Phrasing with English nouns/verbs: Yes, attempted this.
3. Mandatory Metadata: Yes, authors and keywords.
4. Output format: Markdown for Part 1, JSON for Part 2.
5. Section headers: ## 1., ## 2., ## 3., ## 4.
6. List format for Key Terms.
7. Bold for specific numbers/models/techniques.
8. Length: 500-1000 words (will aim for this).
9. No estimation/inference.
10. Direct answer rule for first sentences of sections.
11. Figure/Table citation rule: [Figure N] or [Table N] immediately after relevant sentence, 1+ times for selected figures. Only selected figures are referenced.
12. JSON format for Figures is correct.
13. Max 3 figures, selected based on criteria, valid URLs.

Looks good.저자: Shengyu Wang, Tengyue Nong, Junming Liu, et al.

1. Key Terms & Definitions

• Unified Multimodal Models (UMMs): 시각적 이해, 생성, 편집을 단일 프레임워크 내에서 통합하는 모델.
• Stateful Interaction: 사용자-어시스턴트 대화에서 여러 턴에 걸쳐 evolving dialogue state를 이해, 유지, 업데이트하고 시각적 출력으로 faithfully realize하는 것을 요구하는 상호작용.
• Dialogue State Understanding (DSU): 모델이 전체 상호작용 기록으로부터 현재 유효한 multimodal state를 추론할 수 있는 능력.
• Visual Realization (VR): 생성된 이미지가 현재 dialogue state를 faithfully realize하는지 여부를 측정하는 능력.
• VLM-as-a-Judge: multimodal dialogue system의 성능을 자동으로 평가하기 위해 Vision-Language Model을 평가 도구로 활용하는 프레임워크.

2. Motivation & Problem Statement

Unified Multimodal Models (UMMs)는 이미지 이해, 생성 및 편집 기능을 통합하지만 기존 데이터셋 및 벤치마크는 주로 single-turn tasks에 초점을 맞추고 있어, 복잡한 multi-turn multimodal interaction에 대한 supervision과 evaluation이 제한적이다. 기존 multi-turn 데이터셋조차도 많은 턴이 cross-turn information tracking 없이 독립적으로 해결될 수 있어, 모델이 evolving dialogue states를 이해, 유지, 업데이트하고 시각적 출력으로 faithfully realize하는 데 필요한 능력을 제대로 평가하지 못한다. 이러한 한계점은 real-world의 점진적인 이미지 생성 및 편집 과정에서 요구되는 continuous multi-turn stateful interaction의 탐색을 제한하며, 본 연구는 이 gap을 해결하고자 한다.

3. Method & Key Results

본 논문은 multimodal stateful interaction을 위한 대규모 데이터셋 및 벤치마크인 YANAMI를 제안한다. YANAMI는 YANAMI-400K와 YANAMI-Bench로 구성된다. YANAMI-400K는 400K개의 multi-turn multimodal dialogues를 포함하며, 2M개 이상의 이미지와 2.6M개의 대화 턴으로 Multi-Image Fusion, Image Editing, World Modeling, Visual Reasoning의 네 가지 시나리오를 아우른다. 이 데이터셋은 Reference Resolution, Context Retrieval, Consistency Maintenance, Spatial and Physical Consistency, Constraint Keeping, Correction-Based State Updating의 여섯 가지 key capabilities를 명시적으로 포함하여 진정한 stateful interaction을 보장한다. [Figure 2]

YANAMI-Bench는 multi-turn dialogue를 통해 multimodal dialogue state를 추적, 유지, 업데이트하는 모델의 능력을 체계적으로 평가하기 위해 400개의 multi-turn dialogues로 구성된다. YANAMI-Bench는 Dialogue State Understanding (DSU)과 Visual Realization (VR)의 두 가지 상보적인 측면을 공동으로 평가한다. DSU는 모델이 interaction history로부터 현재 유효한 multimodal state를 추론하는 능력을, VR은 생성된 이미지가 현재 dialogue state를 faithfully realize하는지를 평가한다. 평가에는 VLM-as-a-Judge 프레임워크가 사용되며, DSU는 Reference Resolution, Context Retrieval, Constraint Tracking, Correction Updating의 네 가지 차원에서, VR은 Visual Quality와 State Consistency로 평가된다. [Figure 3]

실험 결과, YANAMI-400K로 BAGEL 모델을 fine-tuning했을 때, image editing 성능이 10.3%, image generation 성능이 2.0%, multimodal stateful interaction 성능이 13.23% 향상되었다. 동시에 일반적인 visual understanding capabilities는 유지되었다. YANAMI-Bench에 대한 평가는 기존 UMMs가 evolving multimodal dialogue states를 유지, 업데이트, 시각적으로 realize하는 데 여전히 어려움을 겪고 있음을 보여준다. 특히, 최신 closed-source 모델인 GPT-Image-2와 Nano Banana 2는 각각 83.05와 80.93의 평균 점수를 달성하며 open-source 모델 대비 상당한 gap을 보였다 [cite: 1, Table 2]. Understanding–Realization Gap 분석 결과, 모델이 state를 올바르게 이해하더라도 시각적 출력으로 faithfully realize하는 데 실패하는 명확한 gap이 존재함을 확인했다. [Figure 6]

4. Conclusion & Impact

YANAMI는 multimodal stateful interaction을 위한 최초의 대규모 데이터셋 및 벤치마크로서, UMMs의 이해, 생성, 편집 능력을 포괄적으로 다룬다. 본 연구는 YANAMI-400K를 통해 multi-turn contextual understanding, image generation, image editing 능력을 향상시키고, YANAMI-Bench를 통해 기존 UMMs가 dialogue states를 유지, 업데이트, 시각적으로 realize하는 데 여전히 직면한 challenges를 명확히 보여준다. YANAMI는 robust multimodal stateful interaction을 위한 UMMs 훈련 및 평가에 통일된 기반을 제공하며, 향후 더 복잡하고 현실적인 사용자-어시스턴트 interaction 연구를 위한 중요한 발판을 마련한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.