[7주차/장수혁/논문리뷰] Tackling the Generative Learning Trilemma with Denoising Diffusion GANs

금주 포스팅에서는 Diffusion Model의 느린 Sampling 문제를 해결하기 위해 DDIM의 Non-Markovian Process 및 GAN Structure & Loss를 도입한 Denoising Diffusion GAN을 소개해드립니다.

 

세부내용은 세션 발표자료로 대체하겠습니다🙇🏻‍♂️

---

Denoising Diffusion GAN 요약

1. Generative Model이 추구해야 할 3가지 요소 : High Quality Samples, Fast Sampling, Mode Coverage/Diversity
   
   
2. Diffusion Model은 다른 2가지 요소는 만족했지만, Fast Sampling만은 이뤄내지 못했음
   • Slow Sampling + High Computational Cost Problem ➡️ Real-World Application에 지장이 있음
   • 저자들은 Slow Sampling의 주요 원인 중 하나가 Denoising Distribution에 존재하는 Gaussian Assumption이라고 생각함
3. 이를 해결하기 위해 Denoising Distribution으로 Complex Multimodal Distribution (다봉분포)를 제안하였고, 그것을 Conditional GAN으로 모델링함 (Diffusion + GAN)
   • Complex Multimodal Distribution을 사용하면 Large Denoising Step이 가능하여 Sampling까지 필요한 Step 수 대폭 감소
   • DDIM의 Reverse Process 과정 중 X(t-1)를 예측할 때, X(t)에서 Directly하게 가는 것이 아닌 Markov Property를 깨고 X(0)를 예측해서 X(t-1)로 forwarding하는 것을 차용 (GAN의 Generator가 X(t)에서 X(0)를 생성)
4. 결론적으로 Diffusion GAN은 기존 Diffusion Model에 못지 않은 High Sample Quality와 Mode Diversity를 가지면서도, Denoising Step을 대폭 줄여 Fast Sampling까지 확보하게 됨 ➡️ Real-World Problem에도 적용 가능 

 

---

Introduction

 

 

Background

 

Denoising Diffusion GANs

 

 

 

 

Experiments

 

---

Reference

https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/denoising-diffusion-gan/

[논문리뷰] Tackling the Generative Learning Trilemma with Denoising Diffusion GANs

https://nvlabs.github.io/denoising-diffusion-gan/

Tackling the Generative Learning Trilemma with Denoising Diffusion GANs