KL 散度

Kullback-Leibler Divergence

我们设定两个概率分布分别为 $P$ 和 $Q$，有：

$$KL(P\parallel Q)={\mathbb{E}}_{x\sim P}[\log \frac{P(x)}{Q(x)}]$$

在设定为连续随机变量的前提下，他们对应的概率密度函数分别为 $p(x)$ 和 $q(x)$。使用 $q(x)$ 去近似 $p(x)$，有：

$$KL(P\parallel Q)=\int p(x)\log \frac{p(x)}{q(x)}dx$$

若是离散的情况：

$$KL(P\parallel Q)=\sum p(x)\log \frac{p(x)}{q(x)}$$

注意：

$$KL(P\parallel Q)\ne KL(Q\parallel P)$$

JS 散度

Jensen-Shannon Divergence

JS 散度是 KL 散度的对称修正版本：

$$JS(P\parallel Q)=\frac{1}{2}KL(P\parallel \frac{P+Q}{2})+\frac{1}{2}KL(Q\parallel \frac{P+Q}{2})$$