[논문리뷰] RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation

링크: 논문 PDF로 바로 열기

저자: Xiaochen Ma, Zimo Meng, Junzhu Liang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Multi-Grain Dataflow: 논리적 데이터 단위가 단계별로 변경되면서도 구조적 관계가 명시적으로 유지되는 파이프라인으로, 페이지 단위 또는 프레임 단위 병렬 처리를 지원한다.
• Expansion: 하나의 부모(parent) Entity에 대해 순서가 지정된(ordered), 입력 의존적인 자식(child) Entity들의 집합으로, 컴파일 시 선언되고 런타임에 구체화된다.
• Grain: 하나의 Call이 하나의 Entity에 적용되는 단위로, 스케줄링, 재시도(retry), 커밋(commit)의 기본 단위이다.
• Lineage State: 각 Materialized Expansion의 구체적인 순서 지정된 자식 집합, 각 자식의 즉각적인 부모 및 불변적인 순서(immutable ordinal), 그리고 Expansion 및 그 자식 결과의 터미널(terminal) 상태를 기록하는 런타임이 유지하는 제어 상태이다.
• GroupFailure: 특정 Call과 즉각적인 부모에 대해 로컬 억제(suppression) 장벽을 설치하는 유형화된(typed) 오류로, 대기 중인(queued) 형제(sibling) Grains는 디스패치 전에 억제되고, 비행 중인(in-flight) 형제들은 커밋할 수 없다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Foundation Model을 위한 고품질 학습 데이터 준비는 이기종 문서나 비디오의 대규모 컬렉션을 구조화된 학습 레코드로 변환하는 확장 가능한 파이프라인을 요구한다. 이러한 파이프라인은 반복적으로 처리 단위(unit of processing)를 변경하며, 각 Expansion 단계에서 하나의 입력 항목은 입력 의존적인 순서의 출력 항목 시퀀스를 생성한다. 이 과정에서 부모별 자식 수의 분포는 Long-Tailed 형태를 띠는 반면, 특정 데이터 파이프라인 단계를 실행하는 GPU는 Utilization 극대화를 위해 다른 부모로부터의 자식들을 Batch 처리해야 한다.

기존 데이터 파이프라인 시스템들은 두 가지 불완전한 옵션 중 하나를 선택해야 하는 한계가 있었다. Coarse-grained Functions는 각 문서나 비디오를 하나의 불투명한 작업으로 유지하여 병렬로 실행될 수 있는 페이지, 클립 또는 프레임을 숨긴다. 반면 Flat-record Functions는 이러한 항목들을 개별적으로 노출하지만, 애플리케이션이 각 항목의 부모와 위치를 기억하고, 모든 항목이 완료되었는지 추적하며, 원본 결과를 재구성하기 위해 레코드를 전역적으로 재그룹화하도록 강제한다. 이는 Figure 1(b)에서 나타나듯이, Batching과 완료 순서가 Expansion Membership이나 재구성 순서를 정의할 수 없게 하여, 효율적인 물리적 Batching과 논리적 Expansion 간의 불일치를 초래한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

RayOrch는 Foundation Model 데이터 준비를 위한 Lineage-Controlled Multi-Grain Dataflows를 프로그래밍하고 실행하기 위한 프로그래밍 모델과 분산 실행 엔진을 제안한다. 본 방법론의 핵심은 실행 전반에 걸쳐 Parent-Child 관계를 유지하는 Lineage State를 관리하는 것이다. 프로그램은 순서 있는 Variable-Cardinality Parent-to-Child Expansion과 일치하는 Child-to-Parent Gather를 선언하며, 컴파일러는 각 Expansion-Gather 쌍을 검증한다. 런타임 시 RayOrch는 모든 Expansion의 Structural Lineage(구체적인 자식 집합, 각 자식의 즉각적인 부모 및 불변적인 순서, 각 결과의 터미널 상태)를 기록한다. Per-Call FIFO Ready Queues는 준비된 자식들을 부모들 사이에서 Batch 처리하며, Gather는 Batch Boundary 또는 완료 순서가 아닌 선언된 Membership과 Ordinal을 사용한다. 이를 통해 부모는 모든 필수 자식 결과가 터미널 상태가 되자마자 결과를 최종화하고 다음 단계로 진행할 수 있다. Figure 2는 RayOrch 프로그램이 Lineage-Controlled 실행으로 전환되는 과정을 보여주며, 논리적 구조가 물리적 실행과 분리되어 Batching, 재시도, Placement가 변경되어도 논리적 구조는 안정적으로 유지된다.

종합적인 평가 결과, RayOrch는 NVIDIA H20 GPU 환경에서 Baseline 대비 상당한 성능 향상을 달성했다. MinerU 워크로드에서 4개의 GPU에서 64개의 GPU로 확장할 때 15.14배의 Processing-Time Speedup을 달성했으며, Video 파이프라인에서는 8개의 GPU에서 64개의 GPU로 확장할 때 7.82배의 Speedup을 기록했다. End-to-End 시간 측면에서는 MinerU에서 Ray Data 대비 13.1%, Daft 대비 29.0% 감소했으며, Docling에서 Ray Data 대비 16.0% 감소했다. FIFO Dispatch는 Ablation Wall Time을 634.1초에서 579.3초로 8.6% 감소시켰으며, Lineage-Scoped Failure Containment는 23,514개의 Non-Trigger Sibling Computation 중 6,241개를 UDF 진입 전에 방지하여 Wall Time을 평균 14.93% 감소시켰다. Figure 7에 따르면, RayOrch는 OCR과 동시에 Assembly 및 Upload를 Overlap 시켜 Baseline 시스템에서 발생하는 Post-OCR Regrouping Tail을 방지한다.

4. Conclusion & Impact (결론 및 시사점)

RayOrch는 Foundation Model 데이터 준비 파이프라인에서 처리 Granularity를 반복적으로 변경하면서도 Parent-Child Membership, Order, Completion, 그리고 Failure Scope를 보존해야 하는 복잡한 문제를 해결한다. 이 연구는 Ray를 기반으로 하는 유한하고 비순환적인 Multi-Grain Dataflow를 위한 프로그래밍 모델과 엔진을 제공한다. 제안된 Compiler-Validated Expansions, Parent-Scoped Gathers, Runtime-Owned Structural Lineage, Per-Call FIFO Queues, Generation-Fenced Commits, 그리고 Typed Failure Containment는 Cross-Parent Batching, Ordered Local Reconstruction, Independent Parent Completion 및 Isolated Recovery를 가능하게 한다.

RayOrch는 기존 시스템의 한계, 특히 Multi-Grain 데이터 처리 시 구조적 관계 유지를 애플리케이션 계층에 위임하던 문제를 해결하여, Foundation Model 학습 데이터 준비의 효율성과 견고성을 크게 향상시킬 수 있다. 이러한 개선은 대규모 멀티모달 데이터셋 처리의 복잡성을 줄이고, 개발자가 데이터 파이프라인의 정확성과 성능을 더욱 쉽게 달성하도록 돕는 중요한 시사점을 제공한다. 궁극적으로 RayOrch는 Foundation Model의 데이터 전처리 워크플로우를 단순화하고 가속화하여, AI 연구 및 산업 분야에서 고품질 데이터셋 구축을 위한 핵심 기술로 기여할 것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.