[논문리뷰] Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

링크: 논문 PDF로 바로 열기

저자: Shiyi Zhang, Mushui Liu, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Flow Matching (FM): 노이즈 분포를 데이터 분포로 변환하는 연속적인 velocity field를 학습하여 고품질 이미지를 생성하는 생성 모델링 프레임워크입니다.
• On-Policy Distillation (OPD): 모델이 자신의 출력값(on-policy data)을 사용하여 dense한 step-wise supervision을 스스로 학습함으로써 훈련 효율성을 높이는 기법입니다.
• SDE (Stochastic Differential Equation) Branching: 결정론적 ODE 예측 경로를 기준으로 여러 확률적(stochastic) 후보 경로를 생성하여 모델이 로컬 환경을 탐색하게 하는 방법입니다.
• Reward-Level Fusion: 서로 다른 여러 목적 함수를 매개변수 공간에서 결합하지 않고, reward 수준에서 통합하여 ranking을 통해 다중 목표를 동시에 최적화하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 Flow Matching 모델 정렬(alignment) 방식이 가진 높은 컴퓨팅 비용과 성능 한계를 해결하기 위해 Self-OPD를 제안합니다. 기존의 Teacher-based OPD 방식은 매번 새로운 목적 함수마다 전문화된 Teacher 모델을 훈련해야 하므로 비용이 높고, Teacher와 Student 간의 분포 불일치로 인해 생성 궤적에서 오류가 누적되는 문제가 있었습니다. 반면, 기존 RL 기반 방식은 단말 보상(terminal reward)만을 사용하므로 신용 할당(credit assignment) 과정에서 높은 분산을 초래하고 다중 목표 최적화에 취약합니다. 이러한 한계를 극복하고자 저자들은 외부 Teacher 없이 학생 모델 스스로의 탐색을 통해 dense한 supervision을 확보하는 프레임워크를 고안하였습니다 [Figure 2].

Figure 2 — 정렬 패러다임 비교

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 학생 모델의 로컬 탐색과 자기 참조(self-reference)를 통해 생성된 보상을 단계별 지도 신호로 활용하는 Self-OPD를 도입합니다. 구체적으로, 학생 모델은 각 timestep에서 SDE Branching을 통해 다수의 확률적 경로를 생성하고, 이들 각각의 보상을 결정론적 ODE roll-out 결과와 비교하여 정규화된 이득(advantage)을 산출합니다. 이후 고득점 브랜치는 모델을 끌어당기고(pull), 저득점 브랜치는 밀어내는(push) all-branch pull-push distillation 객관식을 최적화합니다. 이때 보상 수준에서 여러 목적 함수를 통합함으로써 직접적인 기울기 충돌을 방지하는 Reward-Level Fusion을 수행합니다 [Figure 3]. 실험 결과, Self-OPD는 단일 보상 및 복합 보상 벤치마크에서 기존의 Flow-GRPO, DiffusionNFT 등 대비 우수한 성능을 보였습니다. 특히 단일 모델로 GenEval에서 0.95의 점수를 기록하고, 다중 목표(text, aesthetic, preference)를 동시에 최적화하는 데 있어 DiffusionOPD보다 높은 PickScore(23.87)와 HPSv2(0.3214)를 달성하였습니다 [Table 2].

Figure 3 — Self-OPD 파이프라인

4. Conclusion & Impact (결론 및 시사점)

본 연구는 외부의 도움 없이 학생 모델 스스로의 탐색과 보상 정규화를 통해 정렬을 수행하는 Self-OPD 프레임워크를 성공적으로 구축하였습니다. 이 연구는 기존의 Teacher-based 모델 정렬 방식이 가진 제약을 해소하고, 다중 목표 최적화 시 기울기 충돌을 방지하는 새로운 방법론을 제시했다는 점에서 중요한 의의를 갖습니다. 결과적으로 본 방법론은 생성 모델의 범용성을 크게 향상시키며, 블랙박스 보상 모델과도 원활하게 연동될 수 있어 다양한 생성 환경에서의 실용적인 활용 가능성을 입증하였습니다.

Figure 4 — 선호도 보상 분포 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.