GANs的演进与训练技巧
GAN由生成器和判别器构成，两者的目标函数均为度量生成数据分布与真实数据分布之间距离的函数。那么，距离度量函数对概率分布序列拟合有很大的影响。同时，GAN的训练非常不稳定，且模型很容易出现模式坍塌，即生成样本的多样性受到损失。因此，对损失函数和训练方法的改进，不断的出现。
标签 GANs 下的文章
哪种训练方法导致GANs真实的拟合 (二)？
在上一篇哪种训练方法导致GANs真实的拟合(一)？中，表示了对于低维流形数据，GAN的训练往往无法拟合到Nash均衡点，这是训练不稳定性造成的。接下来，这篇文章将分析不稳定性的来源，且提出降低不稳定性的方法。
哪种训练方法导致GANs真实的拟合 (一)？
GANs属于强有力的隐变量模型，可以用于学习复杂的真实世界数据的分布。然而，实践中发现，GANs很难训练，且观测到基于梯度下降方法的GAN优化无法拟合。因此，研究人员对GANs的训练，提出了更好的训练算法。同时，这些算法拥有更好的理论理解。尽管如此，对于GANs的训练动力学仍没有完全理解。
可提升GANs的训练方法
GANs属于一类基于博弈理论学习生成模型的方法。GANs由两个网络构成，分别是生成器和判别器，生成器用于生成样本，判别器用于判别样本是真实样本还是生成样本，也就是说生成器需要利用判别器提供的信号学习，且需要学会欺骗判别器。本质上来说，GANs模型的训练属于两个玩家的零和博弈问题，需要寻找非凸博弈的Nash均衡。由于梯度下降方法属于寻找成本函数的最小值，而不是找到博弈的Nash均衡，因此GANs的训练往往无法很好的收敛。
Improved Techniques for Training GANs作者们基于对非收敛问题的启发式理解，提出了一系列鼓励GANs博弈收敛的技术。
GAN：生成式对抗网络
生成式对抗网络虽然概念上直接，但是其背后的理论值得深究。简单来说，GAN定义了两个网络，分别是生成网络$G(z;\theta_g)$和判别网络$D(x;\theta_d)$。生成网络基于先验分布$p_z(z)$生成数据$x$的分布$p_g$。判别网络用于判别样本来自于训练数据$x$而不是$p_g$的概率。