生成对抗网络GAN: Generative Adversarial Network

Publication: Generative Adversarial Networks

Generative models are useful for building AI that can self-compose images, music and other works. Building a generative model is challenging because it is hard to define what is the best output (training target), and find a working cost function.

GAN introduces a new paradigm of training a generative model, in the following way:

• Build a generative model neural network
• Build a discriminator network that tries to tell if its input (e.g. an image) is artificially generated or real.

In the paper, the author used fully connected layers for both networks and demonstrated good performance in generating realistic looking images.

The second network can be trained via backpropagation because we know for each image if it is generated or not. During the training of first netwrok, or generative network, we can lock the second network and use backpropagation to tell the first network to go into the direction of making the second network say it is more real than generated. Conceptually, the second network is providing advice for the first network on how to make its output more realistic and thus named as Adversarial network.

The folloing image demonstrated this process visually

• Back dot: real output
• Grean line: generative network output
• Blue line: discriminator network output (0.5 means it believe the work has equal probability to be real or generated)
• 
  

Ian Goodfellow 在 NIPS 2016 上的 tutorial 演讲依旧是聊他的代表作生成对抗网络（GAN/Generative Adversarial Networks），毕竟 Ian 就是「对抗生成网络之父」。这两年，他每到大会就会讲 GAN，并且每次都会有一些新的干货，当然这次也不例外。
可以说，这几年在机器学习领域最亮最火最耀眼的新思想就是生成对抗网络了。这一思想不光催生了很多篇理论论文，也带来了层出不穷的实际应用。Yann LeCun 本人也曾毫不吝啬地称赞过：这是这几年最棒的想法！
大家都知道，LeCun 是无监督学习的头号号召者。生成对抗网络这种靠数据和模型自己的内部对抗来实现无监督学习的模型正好给人工智能的自我学习能力带来了一线曙光！

大神 Ian Goodfellow（这姓本身就很学术）是神经网络奠基人 Yoshua Bengio 的学生（跟相声一样，学术界也讲究个师承和门派。收不收学费就因人而异了。学校的发票应该还是有的）。继承了 Bengio 的步伐，Ian 在 2014 年的一篇 GAN 论文也是震惊世界，被认为是带领人类走向机器学习下一个纪元的开创性方法。Ian 在谷歌带完这一波节奏之后，便加入了「硅谷钢铁侠」Elon Musk 的 OpenAI。
OpenAI 这家酷炫的研究所是非营利的，主要目标就是做深度的人工智能研究来为人类造福，或防止人工智能失控而灭绝人类。当然，这只是个口号，本质上其实就是有钱人撒钱养一帮学界大神来提升自己在圈内的逼格。当然，他们也不计利润和 IP 地开源了大量代码和框架，这也是造福工业界和学术界的好事。GAN 作为 OpenAI 的首个高逼格成果，也在这两年得到了长足的优化和拓展。

生成模型的概念大家应该都很熟悉，大概有两种玩法：
密度（概率）估计：就是说在不了解事件概率分布的情况下，先假设随机分布，然后通过数据观测来确定真正的概率密度是怎样的。
样本生成：这个就更好理解了，就是手上有一把训练样本数据，通过训练后的模型来生成类似的「样本」。

欢迎投稿 职场/创业方向. 邮箱wangfzcom(AT)163.com：王夫子社区 » 生成对抗网络GAN: Generative Adversarial Network

标签：GAN