---

Denoising Diffusion Probabilistic Models

Ho J , Jain A , Abbeel P .Denoising Diffusion Probabilistic Models[J]. 2020.DOI:10.48550/arXiv.2006.11239.

Denoising Diffusion Probabilistic Models

---

前向过程

前向扩散过程就是向图像不断加高斯噪声

给定初始数据点 ${\mathbf{x}}_0\sim q({\mathbf{x}}_0)$，$q({\mathbf{x}}_0)$ 是未被噪声破坏的原始数据分布

在 $t$ 时刻的噪化状态与上一时刻 $t-1$ 的关系为：

$$q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$

在给定前一个状态 ${\mathbf{x}}_{t-1}$ 的条件下，当前状态 ${\mathbf{x}}_t$ 的分布是一个高斯分布。这个高斯分布的均值是 $\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1}$，方差是 $\beta t\mathbf{I}$。

其中 ${\beta }_t$ 是一个预先定义好的小于 $1$ 的正数，通常随着时间步 $t$ 的增加而增加（一开始，加一点点噪声就能比较明显的看出和原图的区别，越到后面，图像退化的越厉害，轻微的扰动已经看不出明显的变化，所以 ${\beta }_t$ 的值需要更大）。$\mathbf{I}$ 是单位矩阵。

这个过程中，我们逐渐将噪声加入到数据中，因为均值是 $\sqrt{1-{\beta }_t}$ 乘以 ${\mathbf{x}}_{t-1}$，而 $\sqrt{1-\beta t}$ 小于1，所以相当于在上一时刻的数据上缩放了一下，然后加上一个方差为 ${\beta }_t$ 的噪声。这样，随着 $t$ 的增加，数据中原始的信息逐渐减少，噪声逐渐增加。

输入 ${\mathbf{x}}_0$ 的条件下，${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_T$ 的联合分布可以表示为：

$$q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)=\prod _{t=1}^{T}q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})$$

重参数化技巧 (reparameterization trick)

对于采样操作，采样的输出不是输入参数（如 $\mu$ 和 $\sigma$）的一个确定函数，而是一个随机值。即使我们固定了分布参数，每次采样得到的值都是不同的。因此，采样操作不具备输入与输出之间的确定性关系，无法计算导数，进而导致采样操作不可微。

在深度学习中，我们通常使用梯度下降来优化模型参数，梯度计算依赖于链式法则。由于采样结果随机，这种不确定性使得梯度无法通过采样的结果反向传播到模型参数。

重参数化的核心思想是将随机过程与可微过程分离，这样我们可以对可微部分进行梯度计算，同时保留随机性。具体而言，重参数化技巧将从分布 $\mathcal{N}(\mu ,{\sigma }^2)$ 采样的过程转换为一个确定的线性变换加上随机噪声的过程

对于一个高斯分布：

$$\mathcal{N}(x;\mu ,{\sigma }^2)$$

它的采样过程可以写成：

$$x=\mu +\sigma \cdot ϵ,ϵ\sim \mathcal{N}(0,1)$$

其中，$ϵ\sim \mathcal{N}(0,1)$ 是从标准正态分布中采样的噪声，$\mu$ 和 $\sigma$ 为模型参数。

通过这种方式，将随机性分离到了 $ϵ$ 中，其与模型参数 $\mu$ 和 $\sigma$ 无关，即在梯度计算时，$ϵ$ 不会影响 $\mu$ 和 $\sigma$ 的梯度计算。

对于：

$$q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$

采样过程就是：

$${\mathbf{x}}_t=\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1}+\sqrt{{\beta }_t}{ϵ}_t,{ϵ}_t\sim \mathcal{N}(0,I)$$

为了简化计算，令：${\alpha }_t=1-{\beta }_t$，代入：

有：

$${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}{ϵ}_t,{ϵ}_t\sim \mathcal{N}(0,I)$$$${\overline{\alpha }}_t={\alpha }_t{\alpha }_{t-1}{\alpha }_{t-2}\cdots {\alpha }_2{\alpha }_1=\prod _{i=1}^t{\alpha }_i$$

即：

$${\mathbf{x}}_t\sim \mathcal{N}(\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0,(1-{\overline{\alpha }}_t)\mathbf{I})$$$$q({\mathbf{x}}_t\mid {\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0,(1-{\overline{\alpha }}_t)\mathbf{I})$$

反向过程

定义反向过程为一个以 $\theta$ 为参数的马尔科夫链，它试图近似真实但未知的逆向分布：

$$p_{\theta }\left({\mathbf{x}}_{0:T}\right)=p\left({\mathbf{x}}_T\right)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)$$

其中：

• 起点：$p\left({\mathbf{x}}_T\right)=\mathcal{N}({\mathbf{x}}_T;\mathbf{0},\mathbf{I})$ ，即纯噪声
• 每一步：$p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$

反向过程的每一步也是一个高斯分布，其均值和方差由神经网路 $\theta$ 预测，我们需要一个目标函数来训练 $\theta$，最自然的目标是就是最大化模型生成真实数据的似然 $p_{\theta }\left({\mathbf{x}}_0\right)$。

直接计算很困难，所以引入了变分推断的思想：我们有一个由前向过程定义的、已知的真实数据分布 $q({\mathbf{x}}_0)$，以及从数据到噪声的前向过程 $q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)$，我们可以通过最小化模型分布 $$p_{\theta}$ 和真实后验分布 $q$ 的 KL散度 来训练模型。

将损失函数定义为目标函数的负值，目标函数越大，损失越小：

$$p_{\theta }\left({\mathbf{x}}_0\right)=\int p_{\theta }\left({\mathbf{x}}_{0:T}\right)d{\mathbf{x}}_{1:T}$$$$L=-\log p_{\theta }\left({\mathbf{x}}_{\mathbf{0}}\right)$$

前向过程 $q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)$ 是我们已知的加噪过程，如果我们的反向模型 $p_{\theta }({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)$ 是完美的，那么它应该和“从真实数据加噪再完美去噪”的过程一致。

数学上，我们希望两个条件分布接近：

$$p_{\theta }({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)\approx q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)$$

KL散度 $D_{KL}(P\parallel Q)$ 衡量分布 $P$ 和 $Q$ 的差异，对于任意 ${\mathbf{x}}_0$：

$$D_{KL}(q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0))\ge 0$$

展开KL散度：

$${\mathbb{E}}_q[\log \frac{q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}{p_{\theta }({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}]\ge 0$$

由于：

$$p_{\theta }({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)=\frac{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}{p_{\theta }\left({\mathbf{x}}_0\right)}$$

有：

$${\mathbb{E}}_q[\log q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)-\log \frac{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}{p_{\theta }\left({\mathbf{x}}_0\right)}]\ge 0$$$${\mathbb{E}}_q[\log q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)]-{\mathbb{E}}_q[\log p_{\theta }\left({\mathbf{x}}_{0:T}\right)]+\log p_{\theta }\left({\mathbf{x}}_0\right)\ge 0$$

即：

$$\log p_{\theta }\left({\mathbf{x}}_0\right)\ge {\mathbb{E}}_q[\log p_{\theta }\left({\mathbf{x}}_{0:T}\right)-\log q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)]$$$$L=-\log p_{\theta }({\mathbf{x}}_0)\le {\mathbb{E}}_q[-\log \frac{(p_{\theta }(x_{0:T}))}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}]$$

根据我们之前的定义：

• 反向过程联合分布：

$$p_{\theta }\left({\mathbf{x}}_{0:T}\right)=p\left({\mathbf{x}}_T\right)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)$$

• 前向过程联合分布：

$$q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)=\prod _{t=1}^{T}q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})$$

代入：

$$\frac{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}{q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}=\frac{p\left({\mathbf{x}}_T\right)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)}{\prod _{t=1}^{T}q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})}$$$$-\log \frac{p_{\theta }\left({\mathbf{x}}_{0:T}\right)}{q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)}=-\log p\left({\mathbf{x}}_T\right)-\sum _{t=1}^T\log p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)+\sum _{t=1}^T\log q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})$$$$L={\mathbb{E}}_q[-\log p\left({\mathbf{x}}_T\right)-\sum _{t=1}^T\log \frac{p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)}{q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})}]$$

要计算这个期望，

• 我们需要从 $q({\mathbf{x}}_0)$ 中采样一个数据点 ${\mathbf{x}}_0$
• 然后从 $q({\mathbf{x}}_{1:T}\mid {\mathbf{x}}_0)$ 中采样整个加噪轨迹 ${\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_T$
• 对每个时间步，计算比值
• 最后取期望

我们希望的是对每个时间步单独计算损失，而不是对整个轨迹进行采样后再计算。

另外，公式中混合了前向和反向转移，没有清晰地分离出“去噪误差”，即缺乏明确的优化目标。

根据贝叶斯定理：

$$q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})=\frac{q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)q({\mathbf{x}}_t\mid {\mathbf{x}}_0)}{q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_0)}$$

有：

$$\sum _{t=1}^T\log \frac{p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)}{q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})}=\sum _{t=1}^T[\log \frac{p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)}{q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)}+\log \frac{q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_0)}{q({\mathbf{x}}_t\mid {\mathbf{x}}_0)}]$$$$\sum _{t=1}^T\log \frac{q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_0)}{q({\mathbf{x}}_t\mid {\mathbf{x}}_0)}=\log q({\mathbf{x}}_0\mid {\mathbf{x}}_0)-\log q({\mathbf{x}}_T\mid {\mathbf{x}}_0)=-\log q({\mathbf{x}}_T\mid {\mathbf{x}}_0)$$

于是：

$$L={\mathbb{E}}_q[-\log p\left({\mathbf{x}}_T\right)-\sum _{t=1}^T\log \frac{p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)}{q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)}+\log q({\mathbf{x}}_T\mid {\mathbf{x}}_0)]$$

整理：

$$L={\mathbb{E}}_q[-\log \frac{p\left({\mathbf{x}}_T\right)}{q({\mathbf{x}}_T\mid {\mathbf{x}}_0)}-\sum _{t=1}^T\log \frac{p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)}{q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)}]$$

第一项是 $q({\mathbf{x}}_T\mid {\mathbf{x}}_0)$ 和 $p\left({\mathbf{x}}_T\right)$ 的 KL散度：

$${\mathbb{E}}_q[\log \frac{q({\mathbf{x}}_T\mid {\mathbf{x}}_0)}{p\left({\mathbf{x}}_T\right)}]=D_{KL}(q({\mathbf{x}}_T\mid {\mathbf{x}}_0)\parallel p\left({\mathbf{x}}_T\right))$$

第二项同理，但注意 $t=1$ 的情况。

最后。我们得到了负对数似然的变分下界（ELBO）的分解形式：

$$L={\mathbb{E}}_q[D_{KL}(q({\mathbf{x}}_T\mid {\mathbf{x}}_0)\parallel p\left({\mathbf{x}}_T\right))+\sum _{t=2}^T{D}_{KL}(q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t))-\log p_{\theta }({\mathbf{x}}_0\mid {\mathbf{x}}_1)]$$

这样，损失函数被分解为三项：

1. 第一项是最终噪声分布的 KL散度。由于前向过程确保 $q({\mathbf{x}}_T\mid {\mathbf{x}}_0)$ 接近标准高斯，且 $p\left({\mathbf{x}}_T\right)$ 也是标准高斯，这一项近似为 $0$，可以忽略。

2. 第二项是一系列 KL散度，要求每个时间步上模型的反向分布 $p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)$ 尽可能接近真实的后验分布 $q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)$。

3. 第三项是最后一步的对数似然，即从 ${\mathbf{x}}_1$ 生成 ${\mathbf{x}}_0$ 的概率。

TIP

真实后验 $q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)$ 是一个高斯分布，下面计算其均值 ${\tilde{\mathit{\mu }}}_t$：

已知：

$$q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I}),{\alpha }_t=1-{\beta }_t$$$$q({\mathbf{x}}_t\mid {\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0,(1-{\overline{\alpha }}_t)\mathbf{I}),{\overline{\alpha }}_t=\prod _{i=1}^t{\alpha }_i$$$$q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};\sqrt{{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0,(1-{\overline{\alpha }}_{t-1})\mathbf{I})$$

根据贝叶斯定理，真实后验分布为：

$$q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)=\frac{q({\mathbf{x}}_t\mid {\mathbf{x}}_{t-1})q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_0)}{q({\mathbf{x}}_t\mid {\mathbf{x}}_0)}$$

代入三个高斯分布的概率密度函数，关注指数部分（忽略常数项）：

$$-\frac{1}{2}[\frac{{({\mathbf{x}}_t-\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1})}^2}{{\beta }_t}+\frac{{({\mathbf{x}}_{t-1}-\sqrt{{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0)}^2}{1-{\overline{\alpha }}_{t-1}}-\frac{{({\mathbf{x}}_t-\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0)}^2}{1-{\overline{\alpha }}_t}]$$

展开前两项中与 ${\mathbf{x}}_{t-1}$ 相关的部分：

第一项展开：

$$\frac{1}{{\beta }_t}({\mathbf{x}}_t^2-2\sqrt{{\alpha }_t}{\mathbf{x}}_t^{\mathrm{\top }}{\mathbf{x}}_{t-1}+{\alpha }_t{\mathbf{x}}_{t-1}^2)$$

第二项展开：

$$\frac{1}{1-{\overline{\alpha }}_{t-1}}({\mathbf{x}}_{t-1}^2-2\sqrt{{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0^{\mathrm{\top }}{\mathbf{x}}_{t-1}+{\overline{\alpha }}_{t-1}{\mathbf{x}}_0^2)$$

合并同类项：

• 二次项系数（${\mathbf{x}}_{t-1}^2$ 的系数）

$$\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\overline{\alpha }}_{t-1}}$$

• 一次项系数（${\mathbf{x}}_{t-1}$ 的系数）

$$-\frac{2\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t-\frac{2\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0$$

高斯分布的精度（方差的倒数）为二次项系数：

$${\tilde{\beta }}_t^{-1}=\frac{{\alpha }_t}{{\beta }_t}+\frac{1}{1-{\overline{\alpha }}_{t-1}}$$

化简：

$$\begin{array}{rl}{\tilde{\beta }}_t^{-1}& =\frac{{\alpha }_t(1-{\overline{\alpha }}_{t-1})+{\beta }_t}{{\beta }_t(1-{\overline{\alpha }}_{t-1})}\\ & =\frac{(1-{\beta }_t)(1-{\overline{\alpha }}_{t-1})+{\beta }_t}{{\beta }_t(1-{\overline{\alpha }}_{t-1})}\\ & =\frac{1-{\overline{\alpha }}_{t-1}-{\beta }_t(1-{\overline{\alpha }}_{t-1})+{\beta }_t}{{\beta }_t(1-{\overline{\alpha }}_{t-1})}\\ & =\frac{1-{\overline{\alpha }}_{t-1}+{\beta }_t{\overline{\alpha }}_{t-1}}{{\beta }_t(1-{\overline{\alpha }}_{t-1})}\\ & =\frac{1-{\overline{\alpha }}_{t-1}(1-{\beta }_t)}{{\beta }_t(1-{\overline{\alpha }}_{t-1})}\end{array}$$

注意到 ${\overline{\alpha }}_t={\alpha }_t{\overline{\alpha }}_{t-1}=(1-{\beta }_t){\overline{\alpha }}_{t-1}$，所以：

$$1-{\overline{\alpha }}_t=1-(1-{\beta }_t){\overline{\alpha }}_{t-1}=1-{\overline{\alpha }}_{t-1}+{\beta }_t{\overline{\alpha }}_{t-1}$$

因此：

$${\tilde{\beta }}_t^{-1}=\frac{1-{\overline{\alpha }}_t}{{\beta }_t(1-{\overline{\alpha }}_{t-1})}$$

方差为：

$${\tilde{\beta }}_t=\frac{{\beta }_t(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}$$

高斯分布的均值满足：

$${\tilde{\beta }}_t^{-1}{\tilde{\mathit{\mu }}}_t=\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0$$

解得：

$${\tilde{\mathit{\mu }}}_t={\tilde{\beta }}_t(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0)$$

代入 ${\tilde{\beta }}_t$ ：

$${\tilde{\mathit{\mu }}}_t=\frac{{\beta }_t(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}(\frac{\sqrt{{\alpha }_t}}{{\beta }_t}{\mathbf{x}}_t+\frac{\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{\mathbf{x}}_0)=\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{\mathbf{x}}_t+\frac{{\beta }_t\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_t}{\mathbf{x}}_0$$

由：

$${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$$

解出 ${\mathbf{x}}_0$：

$${\mathbf{x}}_0=\frac{1}{\sqrt{{\overline{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\overline{\alpha }}_t}ϵ)$$

有：

$${\tilde{\mathit{\mu }}}_t=\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{\mathbf{x}}_t+\frac{{\beta }_t\sqrt{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_t}\cdot \frac{1}{\sqrt{{\overline{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\overline{\alpha }}_t}ϵ)$$

由于 ${\overline{\alpha }}_t={\alpha }_t{\overline{\alpha }}_{t-1}$：

$${\tilde{\mathit{\mu }}}_t=\frac{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{\mathbf{x}}_t+\frac{{\beta }_t}{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_t)}({\mathbf{x}}_t-\sqrt{1-{\overline{\alpha }}_t}ϵ)$$

利用 ${\alpha }_t(1-{\overline{\alpha }}_{t-1})+{\beta }_t=1-{\overline{\alpha }}_t$，可以简化为：

$${\tilde{\mathit{\mu }}}_t=\frac{1}{\sqrt{{\alpha }_t}}{\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{{\alpha }_t}(1-{\overline{\alpha }}_t)}\sqrt{1-{\overline{\alpha }}_t}ϵ=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ)$$

真实后验分布为：

$$q({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};{\tilde{\mathit{\mu }}}_t,{\tilde{\beta }}_t\mathbf{I})$$$${\tilde{\mathit{\mu }}}_t=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}ϵ),{\tilde{\beta }}_t=\frac{{\beta }_t(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}$$

这个结果表明在已知原始数据 ${\mathbf{x}}_0$ 和当前噪声数据 ${\mathbf{x}}_t$ 时，真实的去噪均值可以通过从 ${\mathbf{x}}_t$ 中减去一定比例的噪声 $ϵ$ 并缩放得到。

我们也将反向分布 $p_{\theta }({\mathbf{x}}_{t-1}\mid {\mathbf{x}}_t)$ 设为高斯分布，并固定其方差为 ${\tilde{\beta }}_t\mathbf{I}$（或 ${\beta }_t\mathbf{I}$，实验表明两者效果相近）。当两个高斯分布的方差相同时，它们的 KL 散度正比于均值之差的平方：

$$D_{KL}(q\parallel p_{\theta })\propto {\Vert {\tilde{\mathit{\mu }}}_t-{\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t)\Vert }^2.$$

为了匹配 ${\tilde{\mathit{\mu }}}_t$ 的形式，我们令模型的均值参数化为：

$${\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{ϵ}_{\theta }({\mathbf{x}}_t,t)),$$

其中 ${ϵ}_{\theta }({\mathbf{x}}_t,t)$ 是神经网络预测的噪声。代入后，KL 散度项简化为：

$${\Vert {\tilde{\mathit{\mu }}}_t-{\mathit{\mu }}_{\theta }({\mathbf{x}}_t,t)\Vert }^2=\frac{{\beta }_t^2}{(1-{\overline{\alpha }}_t){\alpha }_t}{\Vert ϵ-{ϵ}_{\theta }({\mathbf{x}}_t,t)\Vert }^2$$

在论文中，作者发现忽略权重系数 $\frac{{\beta }_t^2}{(1-{\overline{\alpha }}_t){\alpha }_t}$ 能使训练更稳定，因此最终损失函数采用简化的均方误差形式：

$$L_{\text{simple }}={\mathbb{E}}_{t,{\mathbf{x}}_0,ϵ}\left[{\Vert ϵ-{ϵ}_{\theta }({\mathbf{x}}_t,t)\Vert }^2\right]$$

其中：

• ${\mathbf{x}}_0\sim q({\mathbf{x}}_0)$
• $ϵ\sim \mathcal{N}(0,\mathbf{I})$
• ${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$

训练算法

重复直到收敛：

• 从训练集中采样 ${\mathbf{x}}_0$
• 均匀采样时间步 $t\sim 1,\dots ,T$
• 采样噪声 $ϵ\sim \mathcal{N}(0,\mathbf{I})$
• 计算加噪样本 ${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$
• 计算损失 $L=|ϵ-{ϵ}_{\theta }({\mathbf{x}}_t,t){|}^2$
• 反向传播更新参数 $\theta$

采样算法

• 从标准高斯分布采样初始噪声：${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$
• 从 $t=T$ 到 $t=1$ 循环：
  • 预测噪声：${ϵ}_{\theta }={ϵ}_{\theta }({\mathbf{x}}_t,t)$
  • 计算均值：${\mathit{\mu }}_{\theta }=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{ϵ}_{\theta })$
  • 采样 $\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$（若 $t=1$ 则 $\mathbf{z}=0$）
  • 更新：${\mathbf{x}}_{t-1}={\mathit{\mu }}_{\theta }+\sqrt{{\beta }_t}\mathbf{z}$
• 返回生成样本 ${\mathbf{x}}_0$