[논문리뷰] AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

링크: 논문 PDF로 바로 열기

메타데이터

저자: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Conditional Rectified Flow: 무작위 잡음에서 타겟 분포로의 직선 경로를 학습하여 1-to-many 예측을 가능하게 하는 생성형 프레임워크로, 예측의 불확실성을 모델링하는 핵심 기술입니다.
• MTL (Multi-Task Learning): valence-arousal(VA) 회귀, 표현(EXPR) 분류, Action Unit(AU) 탐지라는 세 가지 서로 다른 affective task를 단일 시스템 내에서 공동으로 수행하는 기법입니다.
• DINOv3: 본 연구에서 고정된(frozen) 혹은 미세 조정(fine-tuning) 대상으로 활용하는 비전 백본으로, 강력한 의미론적 특징 추출 능력을 제공합니다.
• PMTL (Performance Metric for MTL): ABAW 11th challenge에서 정의한 평가지표로, VA의 CCC, EXPR의 Macro-F1, AU의 F1 합계를 통해 시스템의 전체적인 성능을 측정합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 in-the-wild 환경의 감정 분석에서 발생하는 데이터의 내재적 모호성과 표현의 불확실성을 해결하기 위해 AffectFlow-DINO를 제안합니다. 기존의 결정론적(deterministic) MTL 모델들은 다양한 얼굴 표정이나 미세한 변화를 단일 점 추정치(point estimate)로만 압축하여 표현함으로써, 데이터에 존재하는 다중 모드(multimodal) 가능성을 무시하고 예측의 불확실성을 제거해버리는 한계를 가집니다. 특히, s-Aff-Wild2 데이터셋이 가진 심각한 클래스 불균형과 작업 간의 상이한 레이블 밀도 문제는 기존 방식으로는 성능 최적화가 매우 어렵습니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 DINOv3 ViT-S/16 백본에 Conditional Rectified Flow 헤드를 결합하여 22차원 결합 감정 분포를 생성적으로 모델링하는 새로운 아키텍처를 제안합니다 [Figure 1]. 저자들은 마스킹된 감독 기법을 통해 불완전한 레이블 데이터에서도 안정적인 학습이 가능하도록 했으며, 추론 시 여러 샘플링 경로를 통해 최종 예측값을 도출함으로써 불확실성을 정량화합니다. 주요 실험 결과, AffectFlow-DINO는 정량적 평가에서 PMTL=1.177을 달성하며 공식 챌린지 베이스라인인 PMTL=0.45를 압도적으로 상회하였습니다. 특히, Conditional Rectified Flow 적용은 결정론적 접근 대비 valence-arousal 추정 성능(CCC-V)을 +0.058만큼 향상시켰으며, 사후 보정(post-hoc calibration)만으로도 희귀 클래스인 Fear의 F1 점수를 3.8%에서 33.1%로 대폭 개선하는 성과를 보였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 생성형 모델링인 Rectified Flow를 감정 분석 MTL 분야에 성공적으로 도입하여 예측의 정밀도와 불확실성 인지 능력을 동시에 확보했습니다. 특히 사후 보정 기법과 백본 미세 조정의 조합이 매우 효과적임을 입증하였습니다. 이 연구는 복잡하고 불균형한 실세계 데이터를 다루는 affective computing 분야에서 생성형 방법론이 어떻게 결정론적 한계를 극복하고 모델의 강건성을 높일 수 있는지에 대한 중요한 학술적 근거를 제시합니다.

---

Part 2: 중요 Figure 정보

Figure 1 — AffectFlow-DINO 전체 구조

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.