AI 如何助你成为“画家”｜雷锋网公开课

人工智能滤镜曾一度刷爆朋友圈，Prisma、电影《你的名字》同款滤镜都是如此，但人工智能在图像方面的进展远不止这些。

除了打造“艺术滤镜”，人工智能还可以帮助用户根据需要生成图片、增加纹理、对原本像素很差的图片进行超分辨率处理，助你成为“画家”。其中用到的技术也与最近很火的“生成对抗网络”（GANs）有关。

本期公开课，雷锋网请到了图普科技机器学习工程师 Vincent 为大家揭开 AI 可以助你成为“画家”的秘密。 Vincent 曾在英国留学两年，回国后加入图普，担任机器学习工程师一职，参与图普多个产品的研发工作，立誓要搞深度学习搞到死。

Vincent，图普科技机器学习工程师，主要从事工业级深度学习算法的研发。曾任摩根大通欧洲技术中心分析师，IBM爱丁堡办公室软件工程师。熟悉自然语言处理（文本分类，语言模型等），图像转换（艺术滤镜、图片上色等）和分类算法。

自从 2012 年 Alexnet 横空出世，一举夺得 ImageNet 图片分类大赛冠军之后，深度学习一飞冲天，以卷积网络为首的深度神经网络不断刷新各种计算机视觉任务的 State-of –the-art 。过去四五年间，我们可以看到学术界不断地开发出各种不同结构的卷积神经网络，而且，这些结构并不仅仅是在 Alexnet 的基础上加深层数，而是自成一派，各有所长。

Network in Network（NIN，网络中的网络）：卷积网络是一种线性操作，非线性的表现能力有限，NIN 的研发者设计了比起传统的卷积网络更复杂的操作 —— MLPconv，并用 Global average pooling 极大的改进了卷积网络的大小。

VGG 和 GoogLeNet（inception_v1）：二者是 2014 年 ImageNet 竞赛的双雄。VGG 的设计理念，全部都用了 3x3 卷积，增加了网络的深度。 GoogLeNet 属于Google 的 Inception 系列，用了比较花式的网络设计，旨在减少网络的运算量，加快训练 。

Resnet（深度残差网络）： 根据无限逼近定理（Universal Approximation Theorem），我们可以用一个一层的神经网络来实现任意的维到维的映射，但网络的参数量（网络的宽度）会随着问题复杂度的增加变得非常大，而增加网络的深度则可以让我们用更少的参数量实现同样的映射。但是，随着神经网络层数的加深，它们的训练也会变得越来越困难，因为在训练时会出现梯度消失的状况。Resnet 很好的解决了这个问题，让训练达1000多层的神经网络变得可能。

除了图片分类，以 RCNN 系列为首的神经网络技术在物体检测任务上也取得了重大进展，近年来也出现了速度更快（YOLO），效果更好的算法（SSD）。

最近很火的 GAN 是一个训练框架，在 GAN 出现之前， 生成模型的训练是一件相对较困难的事情，GAN 出现后，生成模型训练的效率大大提高。

GAN的应用大部分也是生成模型的应用，用来生成图片、音乐、文字等。但是对抗训练对训练判别模型也是有非常大的帮助的，因为虽然有非线性的激活函数，但深度网络依然是高度线性的，会对误差进行累积，累积的误差结果通过肉眼分辨不出来，但是可以从卷积网络中看出。但与普通线性模型不同，深度神经网络可以拟合对抗训练可以很好的解决这个问题，解决方式是生成对抗样本，使得网络对对抗样本的容忍性更强些。

GAN这一两年来产生了许多非常有意思的应用，其中包括上期公开课中冯佳时博士提到的超分辨率，旨在把低分辨率的图片放大，而尽量不让其清晰度受影响。

近几个月比较火的纹理转换也就是所谓的图片风格化，在深度学习之前，这也是一个非常困难的问题。其本质原因在于之前非深度学习的方法只能获取到目标图片低层次的图片特征，这导致这些方法无法独立的对图片的语义内容和风格的变化进行有效地建模，从而无法很好地对两者进行解耦和合成。

第一代风格化算法：Neural Style

2015年的时候，德国图宾根大学的学者们提出了一种用深度神经网络各层的响应来表达图片的风格和内容的办法，方法可概括为：

准备好在 ImageNet 数据集上训练好的 VGG 网络，然后选取其中的某些层作为风格语义的提取层，某些层作为内容语义的提取层；

用这个训练好的 VGG 提取风格图片代表风格的高层语义信息，具体为，把风格图片作为 VGG 的输入，然后提取在风格语义选取层激活值的格拉姆矩阵（Gramian Matrix）。值得一提的是，格拉姆矩阵的数学意义使得其可以很好地捕捉激活值之间的相关性，所以能很好地表现图片的风格特征；