---

Denoising Diffusion Implicit Models

SONG J, MENG C, ERMON S. Denoising Diffusion Implicit Models[J]. arXiv preprint arXiv:2010.02502, 2020.

Denoising Diffusion Implicit Models

---

去噪扩散隐式模型

Abstract

去噪扩散概率模型（DDPMs）无需对抗训练即可实现高质量图像生成，但其采样过程需要模拟一个马尔可夫链的多个步骤，耗时较长。为了加速采样，我们提出了去噪扩散隐式模型（DDIMs），这是一类更高效的迭代隐式概率模型，其训练过程与 DDPMs 相同。在 DDPMs 中，生成过程被定义为特定马尔可夫扩散过程的逆过程。我们通过一类非马尔可夫扩散过程对 DDPMs 进行了推广，这些过程能够导出相同的训练目标。这些非马尔可夫过程可以对应确定性的生成过程，从而形成能够更快生成高质量样本的隐式模型。实验表明，与 DDPMs 相比，DDIMs 能够以实际时间快 10 至 50 倍的速度生成高质量样本，允许我们在计算量和样本质量之间进行权衡，直接在隐空间中进行语义有意义的图像插值，并以极低误差重建观测数据。

目标

我们想学习一个模型分布 $p_{\theta }\left(x_0\right)$，让它能近似真实数据分布 $q\left(x_0\right)$，并且容易采样生成新数据。

DDPM

DDPM 引入了一系列潜在变量 $x_1,x_2,\dots ,x_T$，它们与原始数据 $x_0$ 相同。。模型通过以下方式定义：

$$p_{\theta }\left(x_0\right)=\int p_{\theta }\left(x_{0:T}\right)d{x}_{1:T}$$$$\begin{array}{}\text{(1)}& p_{\theta }\left(x_{0:T}\right)=p\left(x_T\right)\prod _{t=1}^T{p}_{\theta }(x_{t-1}\mid x_t)\end{array}$$

参数 $\theta$ 通过最大化变分下界来学习以拟合数据分布 $q\left(x_0\right)$：

$$\begin{array}{}\text{(2)}& \underset{\theta }{max}{\mathbb{E}}_{q\left({\mathit{x}}_0\right)}[\log p_{\theta }\left({\mathit{x}}_0\right)]\le \underset{\theta }{max}{\mathbb{E}}_{q({\mathit{x}}_0,{\mathit{x}}_1,\dots ,{\mathit{x}}_T)}[\log p_{\theta }\left({\mathit{x}}_{0:T}\right)-\log q({\mathit{x}}_{1:T}\mid {\mathit{x}}_0)]\end{array}$$

其中 $q(x_{1:T}\mid x_0)$ 是隐变量上的某个推断分布。与典型的隐变量模型（如变分自编码器）不同，DDPM 使用一个固定的（而非可训练的）推断过程 $q(x_{1:T}\mid x_0)$ 进行学习，且隐变量维度相对较高。

前向过程表示：

$$q(x_{1:T}\mid x_0)=\prod _{t=1}^{T}q(x_t\mid x_{t-1})$$$$\begin{array}{}\text{(3)}& q(x_t\mid x_{t-1})=\mathcal{N}(\sqrt{\frac{{\alpha }_t}{{\alpha }_{t-1}}}{\mathit{x}}_{t-1},(1-\frac{{\alpha }_t}{{\alpha }_{t-1}})\mathit{I})\end{array}$$

前向过程的一个特殊性质是：

$$q({\mathit{x}}_t\mid {\mathit{x}}_0)=\int q({\mathit{x}}_{1:t}\mid {\mathit{x}}_0)\mathrm{d}{\mathit{x}}_{1:(t-1)}=\mathcal{N}({\mathit{x}}_t;\sqrt{{\alpha }_t}{\mathit{x}}_0,(1-{\alpha }_t)\mathit{I})$$

因此，我们可以将 $x_t$ 表示为 $x_0$ 与一个噪声变量 $ϵ$ 的线性组合：

$$\begin{array}{}\text{(4)}& x_t=\sqrt{{\alpha }_t}{x}_0+\sqrt{1-{\alpha }_t}ϵ\end{array}$$

其中 $ϵ\sim \mathcal{N}(0,I)$。

当我们将 ${\alpha }_t$ 设置得足够接近于 $0$ 时，对于所有的 $x_0$，$q({\mathit{x}}_T\mid {\mathit{x}}_0)$ 都会收敛为标准高斯分布。因此，很自然地设定 $p_{\theta }\left(x_T\right)=\mathcal{N}(0,I)$ ，如果所有的条件分布都被建模为具有可训练均值函数和固定方差的高斯分布，那么目标可以简化为：

$$\begin{array}{}\text{(5)}& L_{\gamma }\left({ϵ}_{\theta }\right)=\sum _{t=1}^T{\gamma }_t{\mathbb{E}}_{{\mathit{x}}_0\sim q\left({\mathit{x}}_0\right),{ϵ}_t\sim \mathcal{N}(\mathbf{0},\mathit{I})}\left[{\Vert {ϵ}_{\theta }^{(t)}(\sqrt{{\alpha }_t}{\mathit{x}}_0+\sqrt{1-{\alpha }_t}{ϵ}_t)-{ϵ}_t\Vert }_2^2\right]\end{array}$$

前向过程的长度 $T$ 是 DDPM 中的一个重要超参数。从变分的角度来看，较大的 $T$ 能使反向过程更接近高斯分布，从而使使用高斯条件分布建模的生成过程成为一个良好的近似；这促使人们选择较大的 $T$ 值，例如 DDPM 中 $T=1000$。然而，由于所有 $T$ 次迭代必须顺序执行（而非并行）才能获得一个样本 $x_0$，从 DDPM 中采样比从其他深度生成模型中采样要慢得多，这使得它们在计算资源有限且延迟至关重要的任务中不切实际。

非马尔可夫前向过程的变分推断

由于生成模型近似于推断过程的逆过程，我们需要重新思考推断过程，以减少生成模型所需的迭代次数。我们的关键观察是：DDPM的目标函数 $L_{\gamma }$ 仅依赖于边缘分布 $q({\mathit{x}}_t\mid {\mathit{x}}_0)$，而不直接依赖于联合分布 $q(x_{1:T}\mid x_0)$。既然存在许多具有相同边缘分布的推断分布（联合分布），我们探索了非马尔可夫的替代推断过程，从而引出了新的生成过程。

非马尔可夫前向过程

考虑一个由实向量 $\sigma \in {\mathbb{R}}_{\ge 0}^T$ 索引的推断分布族 $\mathcal{Q}$：

$$\begin{array}{}\text{(6)}& q_{\sigma }({\mathit{x}}_{1:T}\mid {\mathit{x}}_0):=q_{\sigma }({\mathit{x}}_T\mid {\mathit{x}}_0)\prod _{t=2}^T{q}_{\sigma }({\mathit{x}}_{t-1}\mid {\mathit{x}}_t,{\mathit{x}}_0)\end{array}$$

与 DDPM 的区别

• DDPM（马尔可夫）：$q(x_{1:T}\mid x_0)=\prod _{t=1}^{T}q(x_t\mid x_{t-1})$，每一步只依赖前一步。
• DDIM（非马尔可夫）：$q_{\sigma }(x_{t-1}\mid x_t,x_0)$ 同时依赖 $x_t$ 和 $x_0$，允许跳过中间状态。

其中 $q_{\sigma }({\mathit{x}}_T\mid {\mathit{x}}_0)=\mathcal{N}(\sqrt{{\alpha }_T}{\mathit{x}}_0,(1-{\alpha }_T)\mathit{I})$，并且对于所有 $t>1$，

$$\begin{array}{}\text{(7)}& q_{\sigma }(x_{t-1}\mid x_t,x_0)=\mathcal{N}(\underset{{\mu }_{\sigma }(x_t,x_0)}{\underbrace{\sqrt{{\alpha }_{t-1}}{x}_0+\sqrt{1-{\alpha }_{t-1}-{\sigma }_t^2}\frac{x_t-\sqrt{{\alpha }_t}{x}_0}{\sqrt{1-{\alpha }_t}}}},{\sigma }_t^2\mathbf{I})\end{array}$$

设计原理

• 我们希望给定 $x_0$ 时，$x_t$ 的边缘分布仍为 $\mathcal{N}(\sqrt{{\alpha }_t}{x}_0,(1-{\alpha }_t)I)$（和 DDPM 相同）
• 通过特定的均值函数设计，可以确保这一点
• 参数 ${\sigma }_t^2$ 控制条件分布的方差：
  • 当 ${\sigma }_t^2={\tilde{\beta }}_t=\frac{1-{\alpha }_{t-1}}{1-{\alpha }_t}{\beta }_t$ 时，退化为 DDPM
  • 当 ${\sigma }_t^2=0$ 时，方差为0，成为确定性转移（即 DDIM）

选择该均值函数是为了确保对于所有 $t$，都有 $q_{\sigma }(x_t\mid x_0)=\mathcal{N}(\sqrt{{\alpha }_t}{x}_0,(1-{\alpha }_t)I)$，从而使其定义的联合推断分布能够如期望地匹配“边缘分布”。前向过程可以通过贝叶斯规则导出：

$$\begin{array}{}\text{(8)}& q_{\sigma }({\mathit{x}}_t\mid {\mathit{x}}_{t-1},{\mathit{x}}_0)=\frac{q_{\sigma }({\mathit{x}}_{t-1}\mid {\mathit{x}}_t,{\mathit{x}}_0)q_{\sigma }({\mathit{x}}_t\mid {\mathit{x}}_0)}{q_{\sigma }({\mathit{x}}_{t-1}\mid {\mathit{x}}_0)}\end{array}$$

这里的前向过程不再是马尔可夫的，因为每个 $x_t$ 都可能依赖于 $x_{t-1}$ 和 $x_0$。$\sigma$ 的大小控制了前向过程的随机程度，当 $\sigma \to 0$ 时，我们到达一个极端情况：只要观测到某个 $t$ 对应的 $x_0$ 和 $x_t$，那么 $x_{t-1}$ 就变成已知且固定的。

公式 $(8)$

实际并不需要这个前向过程

生成过程与统一的变分推断目标

接下来，我们定义一个可训练的生成过程 $p_{\theta }\left(x_{0:T}\right)$，其中每个 $p_{\theta }^{(t)}(x_{t-1}\mid x_t)$ 都利用了 $q_{\sigma }(x_{t-1}\mid x_t,x_0)$。直观上，给定一个带噪观测对应的 $x_0$，然后通过我们已定义的反向条件分布 $p_{\theta }^{(t)}(x_{t-1}\mid x_t)$ 来获取样本 $x_{t-1}$。

对于某个 $x_0\sim q\left(x_0\right)$ 和 ${ϵ}_t\sim \mathcal{N}(0,I)$，可以利用 $(4)$ 得到 $x_t$。模型 ${ϵ}_{\theta }^{(t)}\left(x_t\right)$ 在不知道 $x_0$ 的情况下，尝试从 $x_t$ 预测 ${ϵ}_t$。通过改写 $(4)$，可以进而预测去噪后的观测值，即给定 $x_t$ 时对 $x_0$ 的预测：

$$\begin{array}{}\text{(9)}& {\hat{x}}_0=f_{\theta }^{(t)}\left(x_t\right)=\frac{x_t-\sqrt{1-{\alpha }_t}\cdot {ϵ}_{\theta }^{(t)}\left(x_t\right)}{\sqrt{{\alpha }_t}}\end{array}$$

然后，我们可以用固定的先验 $p_{\theta }\left(x_T\right)=\mathcal{N}(0,I)$ 和以下定义生成过程：

$$\begin{array}{}\text{(10)}& p_{\theta }^{(t)}({\mathit{x}}_{t-1}\mid {\mathit{x}}_t)=\{\begin{array}{ll}\mathcal{N}(f_{\theta }^{(1)}\left({\mathit{x}}_1\right),{\sigma }_1^2\mathit{I})& \text{ if }t=1\\ q_{\sigma }({\mathit{x}}_{t-1}\mid {\mathit{x}}_t,f_{\theta }^{(t)}\left({\mathit{x}}_t\right))& \text{ otherwise }\end{array}\end{array}$$

公式 $(10)$

• 当 $t>1$ 时：用预测的 ${\hat{x}}_0$ 代入 $(7)$，计算 $x_{t-1}$ 的分布
• 当 $t=1$ 时：直接输出最终图像，加一点噪声保证分布性质

其中 $q_{\sigma }({\mathit{x}}_{t-1}\mid {\mathit{x}}_t,f_{\theta }^{(t)}\left({\mathit{x}}_t\right))$ 按照 $(7)$ 定义，只是将 $x_0$ 替换为 $f_{\theta }^{(t)}\left({\mathit{x}}_t\right)$。对于 $t=1$ 的情况，我们添加了一些高斯噪声（协方差为 ${\sigma }_1^{2}I$）以确保生成过程处处有定义。

我们通过以下变分推断目标（这是关于 ${ϵ}_{\theta }$ 的一个泛函）来优化 $\theta$：

$$\begin{array}{}\text{(11)}& \begin{array}{rl}{J}_{\sigma }({ϵ}_{\theta })& ={\mathbb{E}}_{{\mathit{x}}_{0:T}\sim q_{\sigma }({\mathit{x}}_{0:T})}[\log q_{\sigma }({\mathit{x}}_{1:T}\mid {\mathit{x}}_0)-\log p_{\theta }({\mathit{x}}_{0:T})]\\ & ={\mathbb{E}}_{{\mathit{x}}_{0:T}\sim q_{\sigma }({\mathit{x}}_{0:T})}[\log q_{\sigma }({\mathit{x}}_T\mid {\mathit{x}}_0)+\sum _{t=2}^T\log q_{\sigma }({\mathit{x}}_{t-1}\mid {\mathit{x}}_t,{\mathit{x}}_0)\\ & -\sum _{t=1}^T\log p_{\theta }^{(t)}({\mathit{x}}_{t-1}\mid {\mathit{x}}_t)-\log p_{\theta }({\mathit{x}}_T)]\end{array}\end{array}$$

这里我们根据 $(6)$ 分解 $q_{\sigma }(x_{1:T}\mid x_0)$，并根据 $(1)$ 分解 $p_{\theta }({\mathit{x}}_{0:T})$。

从 $J_{\sigma }$ 的定义来看，似乎对于 $\sigma$ 的每一种选择都必须训练一个不同的模型，因为它对应着不同的变分目标（和不同的生成过程）。然而，对于某些权重 $\gamma$，$J_{\sigma }$ 等价于 $L_{\gamma }$。

定理1.对于所有 $\sigma >0$，存在 $\gamma \in {\mathbb{R}}_{>0}^T$ 和 $C\in \mathbb{R}$，使得 $J_{\sigma }=L_{\gamma }+C$。

变分目标 $L_{\gamma }$ 的特殊之处在于：如果模型 ${ϵ}_{\theta }^{(t)}$ 的参数 $\theta$ 在不同的 $t$ 之间不共享，那么 ${ϵ}_{\theta }$ 的最优解将不依赖于权重 $\gamma$（因为全局最优可以通过分别最大化求和式中的每一项来实现）。$L_{\gamma }$ 的这一性质有两层含义，一方面，这证明了在 DDPM 中使用 $L_1$ 作为变分下界的代理目标函数是合理的；另一方面，由于 $J_{\sigma }$ 等价于定理1的某个 $L_{\gamma }$，$J_{\sigma }$ 的最优解也与 $L_1$ 相同。因此，如果在模型 ${ϵ}_{\theta }$ 中参数不在不同的 $t$ 之间共享，那么 DDPM 使用的 $L_1$ 目标也可以作为变分目标 $J_{\sigma }$ 的代理目标。

定理1

用 DDPM 目标训练出的模型 ${ϵ}_{\theta }$，就是 $J_{\sigma }$ 的最优解，所以无需重新训练

从广义生成过程中采样

去噪扩散隐式模型

根据 $(10)$ 中的 $p_{\theta }\left(x_{1:T}\right)$，可以从样本 $x_t$ 生成样本 $x_{t-1}$：

$$\begin{array}{}\text{(12)}& x_{t-1}=\underset{\text{朝向原始信号的部分 }}{\underbrace{\sqrt{{\alpha }_{t-1}}{\hat{x}}_0}}+\underset{\text{朝向当前噪声 }{x}_t\text{ 的部分 }}{\underbrace{\sqrt{1-{\alpha }_{t-1}-{\sigma }_t^2}\cdot {ϵ}_{\theta }^{(t)}\left(x_t\right)}}+\underset{\text{随机噪声 }}{\underbrace{{\sigma }_t{ϵ}_t}}\end{array}$$

其中 ${ϵ}_t\sim \mathcal{N}(0,I)$ 是与 $x_t$ 独立的标准高斯噪声，我们定义 ${\alpha }_0=1$。不同的 $\sigma$ 值选择会导致不同的生成过程，但都是用相同的模型 ${ϵ}_{\theta }$，因此无需重新训练模型。当对所有 $t$，${\sigma }_t=\sqrt{(1-{\alpha }_{t-1})/(1-{\alpha }_t)}\sqrt{1-{\alpha }_t/{\alpha }_{t-1}}$ 时，前向过程变为马尔可夫的，生成过程则变为 DDPM。

DDPM

$${\sigma }_t^2={\tilde{\beta }}_t=\frac{1-{\alpha }_{t-1}}{1-{\alpha }_t}{\beta }_t$$$$x_{t-1}=\sqrt{{\alpha }_{t-1}}{\hat{x}}_0+\sqrt{1-{\alpha }_{t-1}-{\tilde{\beta }}_t}{ϵ}_{\theta }(x_t,t)+\sqrt{{\tilde{\beta }}_t}{ϵ}_t$$

我们注意到另一个特殊情况，即当对所有 $t$，${\sigma }_t=0$ 时：除了 $t=1$ 的情况外，给定 $x_{t-1}$ 和 $x_0$ 时，前向过程变为确定性的；在生成过程中，随机噪声 ${ϵ}_t$ 前的系数变为零。由此产生的模型成为一个隐式概率模型，其中样本通过固定过程（从 $x_T$ 到 $x_0$）从隐变量生成。我们将其命名为去噪扩散隐式模型（DDIM，发音为 /dɪm/），因为它是一个使用 DDPM 目标训练的隐式概率模型（尽管前向过程不再是扩散过程）。

DDIM

$$x_{t-1}=\sqrt{{\alpha }_{t-1}}{\hat{x}}_0+\sqrt{1-{\alpha }_{t-1}}{ϵ}_{\theta }(x_t,t)$$

TIP

尽管这种情况未被定理1所涵盖，但我们总可以通过使 ${\sigma }_t$ 非常小来近似它。

加速生成过程

略

与神经 ODE 的相关性

此外，我们可以根据 $(12)$ 重写 DDIM 的迭代式，它与求解常微分方程 (ODEs) 的欧拉积分的相似性变得更加明显：

$$\begin{array}{}\text{(13)}& \frac{{\mathit{x}}_{t-\mathrm{\Delta }t}}{\sqrt{{\alpha }_{t-\mathrm{\Delta }t}}}=\frac{{\mathit{x}}_t}{\sqrt{{\alpha }_t}}+(\sqrt{\frac{1-{\alpha }_{t-\mathrm{\Delta }t}}{{\alpha }_{t-\mathrm{\Delta }t}}}-\sqrt{\frac{1-{\alpha }_t}{{\alpha }_t}}){ϵ}_{\theta }^{(t)}\left({\mathit{x}}_t\right)\end{array}$$