[논문리뷰] Dataset Distillation via Drifting
링크: 논문 PDF로 바로 열기
저자: George Cazenavette, Angelina Quan, Giannis Daras, et al. (Antonio Torralba, Vincent Sitzmann / MIT)
1. Key Terms & Definitions (핵심 용어 및 정의)
- Dataset Distillation: 큰 real dataset을 대신할 수 있는 소수의 synthetic sample을 학습해서 만드는 task입니다. 실제 데이터의 subset을 고르기만 하는 Coreset Selection과 달리, sample 자체를 직접 optimize합니다.
- Drifting: 최근 generative modeling 연구에서 제안된 방식입니다. 각 generated sample을 모든 real sample 쪽으로 끌어당기는 attractive force(V⁺)와 다른 generated sample에서 밀어내는 repulsive force(V⁻)를 softmax kernel로 가중합합니다. 본 논문은 이 drifting field를 generative model의 weight가 아니라 synthetic data에 직접 back-propagate합니다.
- Augmentation-aware Drifting: 소수의 이미지만으로는 전체 분포를 근사할 수 없다는 점에서 출발한 설계입니다. 각 synthetic image의 여러 augmentation(random resized crop, horizontal flip, Gaussian noise)을 함께 drift시켜 "이미지 + augmentation" 전체가 real distribution을 cover하도록 합니다. 같은 이미지에서 나온 augmentation끼리도 서로 negative로 취급되므로 intra-image diversity가 높아집니다.
- Laplacian Pyramid Parameterization: 이미지를 pixel 단위로 직접 optimize하지 않고, 1×1부터 R×R까지 여러 resolution layer로 표현합니다. 각 layer를 bicubic upsampling해서 더한 뒤 sigmoid를 적용합니다. hyperparameter가 필요 없는 implicit regularizer 역할을 하며, model inversion에서 흔한 adversarial pattern을 막아 줍니다.
- Coverage: real validation point의 k-NN neighborhood(k=5, cosine distance) 안에 synthetic point가 하나 이상 있는 비율입니다. distilled data가 real distribution을 얼마나 넓게 덮는지 측정합니다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
본 논문은 기존 dataset distillation이 classification objective에 지나치게 의존한다는 문제를 해결하려고 합니다. 이를 위해 per-class real data distribution 자체를 직접 근사하는 방법을 제안합니다. 기존 방법들은 크게 세 갈래입니다.
- Gradient/trajectory matching: bi-level optimization 비용이 커서 ResNet, ViT 같은 현실적인 모델이나 ImageNet-1k 규모로 scale하지 못합니다.
- SRe²L 계열(DeepInversion 기반의 classifier confidence 최대화): large-scale 환경에서 경쟁력은 있습니다. 하지만 생성된 데이터가 주로 Knowledge Distillation에만 효과적이고, from-scratch training에는 약합니다. 또한 결과가 homogeneous해서 별도의 diversity regularizer가 필요합니다.
- Real patch selection 계열: empirical distribution에 묶이거나 강하게 편향됩니다. 그래서 privacy나 interpretability 같은 용도에는 쓰기 어렵습니다.
저자들은 decision boundary를 기준으로 distill된 데이터가 classifier의 bias를 그대로 물려받는다고 지적합니다. 그 결과 다른 task나 다른 model로 generalize하는 데 한계가 생긴다는 것이 핵심 주장입니다.
3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 Dataset Distillation via Drifting을 제안합니다. 이 방법은 classification loss 없이 pre-trained feature extractor φ의 latent space에서 drifting loss만으로 synthetic data를 optimize합니다.
방법론
- 목표: E_{A~P_A}[A_# p_syn] ≈ p_data, 즉 synthetic sample과 그 augmentation 분포가 real distribution을 근사하도록 하는 것입니다.
- Loss: L = Σ‖φ(A(x)) − stopgrad(φ(A(x)) + V(φ(A(x))))‖² 형태입니다. **V = V⁺ − V⁻**이며, kernel은 κ(x,y)=exp(−‖x−y‖/τ)를 사용합니다.
- Equilibrium: attractive force와 repulsive force가 상쇄되어 V(x)=0이 되는 지점입니다. 이 구조 덕분에 diversity가 추가 loss term 없이 repulsive term에서 자연스럽게 생깁니다.
- Parameterization: Laplacian Pyramid를 낮은 resolution부터 점진적으로 확장합니다. natural color 쪽으로 bias를 주기 위해 3×3 color decorrelation transform도 적용합니다.
- 기타 특징: random noise에서 초기화할 수 있고, pre-trained generative model을 쓰지 않습니다. class 단위로 독립적으로 distill하므로 GPU 병렬화가 쉽습니다.
- Backbone: ResNet-18, MoCo-v3(ViT-B), DINOv3(ViT-B)를 사용했습니다.
From-Scratch Training 결과 (ImageNet-1k, ResNet-18 student)
- Hard-label, IPC 10, noise init: MoCo-v3 변형이 27.0%로, 최고 noise-init baseline인 G-VBSM(11.7%)의 2배 이상입니다.
- Hard-label, real init:
- IPC 10: 28.9% vs. RDED 22.1%
- IPC 50: 41.1%(DINOv3) vs. RDED 33.8%
- Soft-label, MoCo-v3: IPC 10에서 40.3%, IPC 50에서 52.8%(noise init)입니다.
- Knowledge Distillation: 성능이 포화되는 경향이 있어 차이는 작지만, IPC 50에서 최고 58.1%(DINOv3, real init)로 baseline과 같거나 더 높습니다.
- Self-supervised vs. supervised backbone: label 없이 학습된 MoCo-v3·DINOv3가 student와 같은 architecture인 supervised ResNet-18보다 일관되게 더 좋은 데이터를 만들었습니다. 그래도 ResNet-18 변형 역시 60개 pairwise 비교 중 49개에서 개별 baseline보다 우수했습니다.
- Ensemble 비교: G-VBSM, FADRM+, CV-DD는 여러 encoder의 ensemble을 쓰지만, 제안 방법의 각 변형은 encoder 하나만 사용합니다.
- 해석: 저자들은 이 결과를 근거로, 성능의 원천이 student architecture와의 정렬이 아니라 rich feature space에서의 distribution matching이라고 해석합니다.
Feature-space 지표 (SigLIP2 / MoCo-v3 latent space)
- Coverage, IPC 10, noise init: DINOv3 변형이 77.0%(SigLIP2) / 83.4%(MoCo-v3)입니다. noise-init baseline은 최대 9.7%, real-init baseline은 최대 36.5%에 그쳤습니다.
- k-NN·Linear probe: DINOv3 변형이 대부분 최고 성능입니다. 예외는 IPC 10의 k-NN 두 개 cell로, RDED가 1%p 미만 차이로 앞섰습니다.
- Self-evaluation: MoCo-v3 변형을 자기 자신의 distillation space에서 평가하면 coverage가 부풀려집니다(91.9%). 그래서 이 값은 ranking에서 제외했습니다.
확장 실험
-
Interpretability: 7개 backbone(ResNet-18, ViT, CLIP, SigLIP2, EVA-02, MoCo-v3, DINOv3)으로 distill한 결과, 각 model 고유의 bias가 이미지에 드러났습니다. CLIP-distilled data가 평균 coverage가 가장 낮았고, DINOv3가 가장 높았습니다.
-
Audio/Video (5 samples per class, Herding coreset과 비교):
Modality Dataset / Feature model Linear probe k-NN Audio FMA / MusicFM 51.4% vs. 45.6% 52.6% vs. 39.9% Video HMDB51 / VideoMAE-v2 70.3% vs. 66.6% 65.8% vs. 60.4% -
Art: SigLIP2 feature로 Monet와 Qi Baishi의 화풍을 각각 2048×2048 canvas 하나에 distill했습니다.
4. Conclusion & Impact (결론 및 시사점)
본 논문은 drifting 기반 distillation으로 real distribution을 기존 방법보다 훨씬 넓게 cover하는 synthetic dataset을 만들 수 있음을 보였습니다. 동시에 classification objective 없이도 from-scratch training에서 SOTA급 성능을 냈습니다.
- 평가 패러다임: dataset distillation의 평가를 classification accuracy 중심에서 Coverage 같은 distribution-based metric으로 넓혀야 한다는 문제를 제기합니다.
- Self-supervised backbone의 가치: classifier 없이 SSL feature만으로 더 좋은 학습 데이터를 만들 수 있다는 점에서 SSL backbone의 활용 가치를 보여 줍니다.
- 활용 범위: noise 초기화가 가능하고 generative prior가 필요 없습니다. 그래서 privacy-sensitive 환경, model interpretability 도구, multi-modal(audio/video) distillation, 예술적 synthesis까지 응용될 수 있습니다.
참고 (Figure 선별): 가져온 논문 페이지에는 Figure 캡션과 본문만 있었고 <img> 태그나 이미지 경로는 없었습니다. 직접 확인할 수 없는 이미지 URL을 지어내지 않기 위해 Figure는 하나도 고르지 않았고, 그래서 본문에도 Figure 번호를 넣지 않았습니다. 원본 HTML 페이지에서 이미지 경로를 확인할 수 있다면, 이미지가 있을 경우 넣을 만한 Figure는 다음 세 개입니다.
- Figure 2: augmentation으로 real distribution을 cover하는 개념도
- Table 1: from-scratch training 결과
- Table 2: feature-space metric 결과
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
Review 의 다른글
- 이전글 [논문리뷰] Correcting Persistent Failures in Point-Cloud Grasping Policies using Human Demonstrations in Virtual Reality
- 현재글 : [논문리뷰] Dataset Distillation via Drifting
- 다음글 [논문리뷰] DominoBench: Evaluating Multi-Step Physical Reasoning from Still Images
댓글