Generative Adversarial Nets 笔记(二)：GAN 的常见结构

Generative Adversarial Nets 笔记(二)：GAN 的常见结构

原始的 GAN 形式如下图:

优化的目标是：

DCGAN 就是这种朴素形式。

Conditional GAN

上门我们看到 Generator 是把随机分布 $$ Z $$ 和真实分布之间做了映射，但是我们可能更想做的是把一个分布映射到另一个分布。最终的目的是想对生成的类容做些控制 Conditional Generative Adversarial Nets

优化目标如下：

我们可以想象一下 $$x $$ 可以是词向量，图像之类的。比如在图像生成的场景下或许可以根据 X 的类容对生成的图片类容做控制，当然可能还要增加一些其他的优化目标才行。

辅助分类器

GAN 的训练中会有 model collapse 的问题，意思是模型也会偷懒，比如在手写数字生成的过程中， Generator 只生成一个数字，而且生成得很逼真，这样就能让整个优化的目标变得很好。这个问题最直接的方式就是修改优化目标，或者对优化增加约束。所以有增加一个辅助模型来缓解这个问题

这里 C 是一个训练好的模型，比如 ImageNet 的分类模型。

GAN 和 Encoder 的结合

把 $$ X $$ 通过 encoder $$ E $$ 进行编码，判别器的输入是 $$x $$ 和 $$ E(x)$$

GAN 和 VAE 的结合。

在实践中 GAN 和 VAE 各有自己的优势，比如图像生成的时候， GAN 通常能生成更加清晰的图像但是会丧失多样性，VAE 更好相反 二者结合的目标是能利用彼此的优势

多个 判别器和生成器的组合

一个生成器，一个判别器组成一个 GAN 的模块。我简单理解不同的 GAN 结构会有不同的作用，彼此之间的组合就会得到不通效果。比如在图像生成的时候就有层叠和链式两种新的方式。