VAE 是 AE的变体。主要目的是让模型学习数据的分布，最后让解码器(decoder)部分具有生成样本的能力。
VAE可看做高斯混合模型(GMM)的扩展。
GMM中，数据由多个高斯分布来描述:
\[p(x) = \sum_{k=1}^{K}P(z_{k})P(x|z_{k})
\]
其中 $z \sim P(z^{k}) $, \(x|z^{k} \sim N(\mu^{k}, \sigma^{k})\)
此处，高斯分布的数量是有限的。
因此，这种编码方式编码能力有限。因此需要对这种方式拓展为连续编码。
\[p(x) = \int_{z} p(x|z)p(z)d z
\]
其中 \(z\sim N(0,1), x|z \sim N(\mu (z), \sigma (z))\).
求解方式是最大化似然:
\[\max L = \sum_{x} \log p(x)
\]
我们引入\(q(z|x)\)， 它可以是任意一个概率分布。做如下等价变化。
\[\begin{align}
\log p(x) & = \int_{z}q(z|x)\log p(x) dz \\
& = \int_{z}q(z|x)\log \frac{p(z, x)}{p(z|x)} dz \\
& = \int_{z}q(z|x)\log \left(\frac{p(z,x)}{q(z|x)} \frac{q(z| x)}{p(z|x)}\right) dz \\
& = \int_{z}q(z|x)\log \left(\frac{p(z,x)}{q(z|x)} \right) dz + \int_{z}q(z|x) \left(\frac{q(z| x)}{p(z|x)}\right) dz \\
& = \int_{z}q(z|x)\log \left(\frac{p(z,x)}{q(z|x)} \right) dz + KL(q(z| x)||p(z|x)) \\
& \geq \int_{z}q(z|x)\log \left(\frac{p(z,x)}{q(z|x)} \right) dz
\end{align}
\]
也即是
\[\log p(x) \geq \int_{z}q(z|x)\log \left(\frac{p(z,x)}{q(z|x)} \right) dz
\]
我们定义
\[L_{b} = \int_{z}q(z|x)\log \left(\frac{p(z,x)}{q(z|x)} \right) dz
\]
优化目标变为了同时优化\(q(z|x)\) 和 \(p(z|x)\)。
如果仅仅优化\(q(z|x)\), 由于\(\log p(x)\) 与\(q(z|x)\) 无关，那么 \(\log p(x)\) 不变化，它仅仅会增大\(L_{b}\), 因此，也缩小了KL. 如果KL缩小为0， 那么调节KL就会增大\(\log p(x)\). 而且最后，因为KL的缩小，最后的 \(q(z|x)\) 可以近似 \(p(z|x)\).
对于\(L_{b}\),我们作进一步分解。
\[\begin{align}
L_{b} &= \int_{z}q(z|x)\log \left(\frac{p(x|z) p(z )}{q(z|x)} \right) dz \\
&= \int_{z}q(z|x)\log p(x|z) dz + \int_{z} q(z|x) \log \frac{p(z)}{q(z|x)} dz \\
&= -KL(q(z|x)||p(z)) + \int_{z}q(z|x)\log p(x|z) dz
\end{align}
\]
第一项展开如下（可参考VAE原文附录）：
\[\sum_{i=1}^{l}(\exp(\sigma_{i}) - (1 + \sigma_{i}) + (m_{i})^{2})
\]
对于第二项，
\[\begin{align}
& \max \int_{z}q(z|x)\log p(x|z) dz \\
& = \max E_{q(z|x)}[\log p(x|z)]
\end{align}
\]
这里其实就是auto-encoder的损失。
参考:
李宏毅机器学习 https://www.bilibili.com/video/av15889450/?p=33
https://www.gwylab.com/note-vae.html