[논문리뷰] Dual Flow: Joint Image-Measurement Interpolation for Inverse Problems
링크: 논문 PDF로 바로 열기
저자: Sevket Ege Yesilyurt, Figen S. Oktem
1. Key Terms & Definitions (핵심 용어 및 정의)
- Dual Flow: 이미지 domain과 measurement domain에서 coupled straight-line interpolation을 정의하는 joint-flow model이다. clean image와 noise-free measurement를 동시에 추정한다.
- Joint State (u_t): image state x_t와 measurement state y_t를 하나로 결합한 변수 u_t = [x_tᵀ y_tᵀ]ᵀ이다. u_t = t·u₁ + (1−t)·u₀ 형태로 interpolation된다. 이때 u₀는 random sample x₀와 noisy measurement y₀로 구성되고, u₁ = [I Aᵀ]ᵀx₁이다.
- Sufficient Statistic (q_t): q_t = (t²I + σ⁻²AᵀA)⁻¹[tI σ⁻²Aᵀ]u_t로 주어지는 closed-form 변환이다. E[x₁|u_t] = E[x₁|q_t]를 만족하며, image와 같은 차원에서 x₁에 대한 모든 정보를 보존한다.
- Operator-dependent Correlated Gaussian Denoising: q_t = x₁ + n̄_t의 관측 모델이다. n̄_t ~ N(0, (H̄_tᵀH̄_t)⁻¹)는 forward operator A에 의존하는 상관된 noise이며, conditional mean 추정을 image-domain denoising 문제로 환원한다.
- Dual Flow-T / Dual Flow-W: 동일한 총 network evaluation 수 N_e를 사용하는 두 variant이다. T(Tall)는 N_e step으로 단일 reconstruction을 생성하고, W(Wide)는 각 N_e/K step으로 K개 reconstruction을 생성해 평균한다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
본 논문은 기존 generative model 기반 inverse problem solver의 공통 구조를 문제로 삼는다. 기존 방법들은 noisy measurement y₀를 고정된 conditioning/guidance 신호로만 사용하고, 이미지 domain에서만 sampling을 수행한다. 이 구조에서 발생하는 approximation 오차와 data consistency 부재를 해결하려는 것이 연구 목표다.
기존 baseline의 한계는 다음과 같다.
- Pretrained unconditional model 기반 방법: likelihood score approximation(예: DPS), data-consistency correction(예: PnP-Flow, Flower), Bayesian filtering 등을 사용한다. 그러나 approximate measurement-conditioning 때문에 true posterior에서 벗어나거나, 계산 비용이 증가한다.
- Conditional diffusion/flow 방법: Aᵀy₀ 같은 hand-crafted 입력으로 conditioning한다. 하지만 forward model과의 physics-based data consistency를 보장하지 못한다.
- Hyperparameter 부담: 기존 방법 대부분은 inverse problem마다 여러 hyperparameter를 tuning해야 한다.
따라서 image reconstruction과 measurement denoising을 coupled estimation 문제로 재정의하는 새로운 접근이 필요하다 [Figure 1].

Figure 1 — image/measurement state의 joint 진화와 q̄ 기반 conditional mean 추정을 보여주는 전체 프레임워크 다이어그램
3. Method & Key Results (제안 방법론 및 핵심 결과)
Dual Flow는 joint state에 대한 flow matching의 Euler update를 유도한다. 이 update는 clean image의 conditional mean E[x₁|u_t] 하나로만 결정된다.
Sampling update
- update 식은 u⁽ᵏ⁺¹⁾ = u⁽ᵏ⁾ + Δ/(1−t_k)·([I; A]·E[x₁|u⁽ᵏ⁾] − u⁽ᵏ⁾)이다.
- noisy measurement y₀는 초기 measurement state로만 사용되고, 이후에는 evolving joint state만으로 update된다.
- B = [−A I]를 적용하면 y⁽ᵏ⁾ = Ax⁽ᵏ⁾ + (1−t_k)(y₀ − Ax₀) 관계가 sampling 내내 유지된다. 따라서 최종 출력은 **y⁽ᴺ⁾ = Ax⁽ᴺ⁾**를 구조적으로 만족한다.
Conditional mean via denoising
- Bayes rule과 whitening, Moore–Penrose pseudoinverse 분해를 이용해 sufficient statistic q_t를 closed-form으로 유도한다.
- 이를 통해 conditional mean 추정을 operator-dependent correlated Gaussian noise에 대한 image-domain denoising 문제로 변환한다.
Network와 학습
- velocity-prediction network V_θ(q̄_t, y_t, t)에 scaled 입력 q̄_t = t·q_t를 넣어 MSE loss로 학습한다.
- estimate는 x̂₁ = q̄_t + (1−t)V_θ로 얻는다.
- t=0에서의 입력은 limit을 취해 (I − A⁺A)x₀, 즉 x₀의 nullspace projection으로 정의한다.
- 실용적 구현:
- inpainting과 super-resolution은 AᵀA가 diagonal이라 elementwise division으로 계산한다.
- deblurring은 DFT로 matrix inversion 없이 계산한다.
- denoising은 transformed time α_t를 사용해 pretrained unconditional network를 fine-tuning 없이 그대로 쓴다.
- 나머지 문제는 pretrained U-Net의 입력을 6채널로 확장하고 zero-init 후 fine-tuning한다.
- 유일한 hyperparameter는 inference step 수 N이다.
핵심 결과 (CelebA, 100 test images) [Table 1]
- Dual Flow-W는 5개 문제 모두에서 최고 PSNR을 달성했다.
- Denoising: 33.54 dB
- Super-resolution: 34.28 dB (Flower5 33.09 대비)
- Random inpainting: 35.73 dB
- Box inpainting: 33.71 dB
- Dual Flow-T는 5개 문제 모두에서 최저 LPIPS를 기록했다.
- Gaussian deblurring: 0.010 (Flower1 0.026 대비)
- Box inpainting: 0.014
- reconstruction time은 이미지당 0.18s다. PnP-Flow5(~4.9s), Flower5(5–8.9s), D-Flow(최대 135s)보다 훨씬 빠르며, PnP-GS denoising(0.05s)만 예외다. 정성적 비교에서도 over-smoothing과 artifact가 적었다 [Figure 2].

Table 1 — 5개 inverse problem에서 PSNR/SSIM/LPIPS/Time을 competing method와 비교한 핵심 정량 결과

Figure 2 — Dual Flow-T가 over-smoothing과 artifact를 줄이며 fine detail을 보존함을 보여주는 정성 비교
AFHQ-Cat 결과
- Dual Flow-T가 모든 문제에서 최저 LPIPS를 기록했다.
- Dual Flow-W는 random inpainting을 제외한 모든 문제에서 최고 PSNR을 달성했다.
- Box inpainting에서는 29.74 dB로 Flower5의 27.42 dB를 크게 앞섰다.
Inference step 분석 (random inpainting)
- N=1만으로도 PSNR 35.01, LPIPS 0.016을 기록해 모든 competing method를 능가했다.
- N이 증가할수록 LPIPS는 개선되고, PSNR은 소폭 감소하는 perception–distortion trade-off가 관찰되었다.
Robustness
- Denoising은 σ=0.4에서도 PSNR 29.73을 유지했다.
- Deblurring은 학습 시와 다른 σ_b=1.2에서 PSNR 23.82, LPIPS 0.389로 크게 저하되어, forward-operator mismatch에 민감함을 보였다.
- Dual Flow-W의 K개 sample로 pixelwise uncertainty map을 추정할 수 있다.
4. Conclusion & Impact (결론 및 시사점)
Dual Flow는 image와 measurement를 joint state로 함께 진화시키는 방식으로 linear inverse problem을 해결한다. 이를 통해 approximate measurement-conditioning 없이 forward model을 구조적으로 만족하는 reconstruction을 얻는다. 동시에 distortion과 perceptual quality 모두에서 state-of-the-art 성능을 낮은 계산 비용으로 달성한다.
closed-form sufficient statistic을 통해 conditional mean 추정을 correlated Gaussian denoising으로 환원한 이론적 기여는, posterior sampling을 정확한 denoising 문제로 재정식화하는 연구 흐름에 새로운 관점을 제공한다.
hyperparameter tuning이 사실상 필요 없고 sampling이 빠르다는 점은 실제 imaging 시스템에 적용하기 유리하다. 반면 operator별 fine-tuning이 필요하고 operator mismatch에 취약하다는 점은 향후 과제로 남는다.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
Review 의 다른글
- 이전글 [논문리뷰] Do Underwater Image Quality Metrics Agree with Human Perception? A Benchmark with Human Choices, Simple Edits and Generative Drift
- 현재글 : [논문리뷰] Dual Flow: Joint Image-Measurement Interpolation for Inverse Problems
- 다음글 [논문리뷰] DySENSE: Dynamic Spatiotemporal ENergy Synthesis and Emulation with Satellite Imagery
댓글