生成对抗网络

Generative adversarial network [2014]

Goodfellow I , Pouget-Abadie J , Mirza M ,et al.Generative Adversarial Nets[J].MIT Press, 2014.DOI:10.3156/JSOFT.29.5_177_2.

核心思想

GAN 基于零和博弈思想：

• 生成器（Generator）：学习生成与真实数据相似的假数据。
• 判别器（Discriminator）：区分输入数据是来自真实分布还是生成器。
• 两者对抗优化，最终达到纳什均衡（生成器生成的样本与真实数据无法区分）。

结构

生成器

• 作用：将随机噪声映射到数据空间，生成假样本
• 输入：随机噪声向量 $z\sim p_z(z)$（通常为高斯分布或均匀分布）
• 输出：生成样本 $G(z)$

判别器

• 作用：区分真实样本与生成样本
• 输入：真实数据样本 $x$ 或生成样本 $G(z)$
• 输出：样本属于真实数据的概率 $D(x)\in [0,1]$

目标函数

$$\underset{G}{min}\underset{D}{max}V(D,G)={\mathbb{E}}_{x\sim p_{data(x)}}[\log D(x)]+{\mathbb{E}}_{z\sim p_z(z)}[\log (1-D(G(z)))]$$

符号	含义
$G$	生成器网络
$D$	判别器网络
$x$	真实数据样本
$z$	随机噪声向量
$p_{data}(x)$	真实数据分布
$p_z(z)$	噪声先验分布
$G(z)$	生成器生成的样本
$D(x)$	判别器对真实样本的判断概率
$D(G(z))$	判别器对生成样本的判断概率

---

判别器的最大化目标

对于第一项：${\mathbb{E}}_{x\sim p_{data(x)}}[\log D(x)]$，判别器需要对真实数据输出接近于 1 的值（$D(x)\to 1$）

对于第二项：${\mathbb{E}}_{z\sim p_z(z)}[\log (1-D(G(z)))]$，判别器需要对生成数据输出接近于 0 的值（$D(G(z))\to 0$）

生成器的最小化目标

生成器试图通过调整参数使判别器的性能最差，即让生成数据 $G(z)$ 被判别器误判为真实数据。这使得：判别器对生成数据的输出 $D(G(z))\to 1$，从而导致第二项 $\log (1-D(G(z)))\to -\mathrm{\infty }$。

训练

固定生成器 $G$，更新判别器 $D$

训练目标:

$$D^{\ast }=\underset{D}{\text{argmax}}V(D,G)$$

有：

$$\begin{array}{rl}V(G,D)& ={\int }_x{p}_{data}(x)\log D(x)dx+{\int }_x{p}_z(z)\log (1-D(G(z)))dz\\ & ={\int }_x[p_{data}(x)\log D(x)+p_g(x)\log (1-D(x))]dx\end{array}$$

求导求出 $D^{\ast }$：

$$\begin{array}{r}\frac{\partial }{\partial D(x)}(p_{\text{data }}(x)\log (D(x))+p_g(x)\log (1-D(x)))=0\\ \Rightarrow \frac{p_{\text{data }}(x)}{D(x)}-\frac{p_g(x)}{1-D(x)}=0\\ \Rightarrow D(x)=\frac{p_{\text{data }}(x)}{p_{\text{data }}(x)+p_g(x)}\end{array}$$$$\begin{array}{rl}C(G)& =\underset{D}{max}V(G,D)\\ & ={\mathbb{E}}_{\mathit{x}\sim p_{\text{data }}}[\log \frac{p_{\text{data }}(\mathit{x})}{P_{\text{data }}(\mathit{x})+p_g(\mathit{x})}]+{\mathbb{E}}_{\mathit{x}\sim p_g}[\log \frac{p_g(\mathit{x})}{p_{\text{data }}(\mathit{x})+p_g(\mathit{x})}]\\ & ={\mathbb{E}}_{\mathit{x}\sim p_{\text{data }}}[\log \frac{p_{\text{data }}(\mathit{x})}{\frac{P_{\text{data }}(\mathit{x})+p_g(\mathit{x})}{2}}]+{\mathbb{E}}_{\mathit{x}\sim p_g}[\log \frac{p_g(\mathit{x})}{\frac{P_{\text{data }}(\mathit{x})+p_g(\mathit{x})}{2}}]\\ & =-\log (4)+KL(p_{\text{data }}\parallel \frac{p_{\text{data }}+p_g}{2})+KL(p_g\parallel \frac{p_{\text{data }}+p_g}{2})\\ & =-\log (4)+2\cdot JSD(p_{\text{data }}\parallel p_g)\end{array}$$

GAN 的目标是使：$p_{data}=p_g$，则有：$D^{\ast }=1/2$，此时，$\underset{G}{min}C(G)=-\log 4$