图像风格转换

姚环 （1326435076@qq.com） 杨荣璐（1379298291@qq.com）

图像风格转换近年来，由深度学习所引领的人工智能技术浪潮，开始越来

越广泛地应用到社会各个领域。这其中，人工智能与艺术的交叉碰撞，不仅在相关的技术领域和艺术领域引起了高度关注。以相关技术为基础而开发的各种图像处理软件和滤镜应用更是一推出就立刻吸引了海量用户，风头一时无两。在这各种神奇的背后，最核心的就是基于深度学习的图像风格迁移(style transfer)。

图像风格转换即将一幅图像的艺术风格或者场景迁移到另外一幅图像上，在卷积神经网络模型的技术没有达到近几年这样的高热度与成熟的技术时，图像风格迁移基本是基于图片纹理的分割与分析。分析某一中风格的图像，并给该风格建立一个数学或者统计模型，再改变要做迁移的图像让他能更好的符合建立的模型。这样虽然能取得不错的效果，但其存在一个极大的局限性就是一个程序（模型）只能做一种风格或者场景，将一张普通的图

像转换成各种艺术风格的图像于是也成了大家努力的方向。

图像风格转换图例：

图片 1(Leon Gatys)

概述：通过对相关文献的阅读学习，了解到相关研究已经证明了在一

幅图片中，卷积神经网络算法可以把这幅画中的风格和内容区分出来。在我们此次的项目中，我们期望在图像风格转换的背景下探索这个想法。确切的说，我们要使用一个过滤器来实现将一幅图片的风格提取出来并将其与另一幅图像融合以达到将风格转换到另一幅

内容图片中去。通过学习前期项目的选取与学习准备，了解到图像风 格 转 换 最 近 比 较 热 门 的 几 篇 论 文 为 《 A Neural Algorithm of Artistic

Style 》 、 《 Style Transfer Via Image Component Analysis 》 《 Image style transfer using convolutional neuralnetworks》等。本次课题项目即期望能够通过学习相关论文，学习卷积神经网络等相关技术内容自己实现图像风格转换。

目前了解到的实现的可行方案：1. 定义从内容图片 1 到风格图像 2 的风格转换。2. 从图像 1 中提取“内容”

2.1 这可以通过特征检测（边缘、角、线条、圆圈、区域等）。2.2根据对整个图像场景的重要程度对特征进行排序－一些指标，如名义上特征的大小、中心、亮度、颜色、对比度等。

3. 从图像 2 中提取“内容”。4. 从图像 2 中提取“风格”。

4.1 这可以通过分割图像并尝试在不同色块中查找主要相似点如该图的主题。

4.2 风格到特征的映射。5. 找到图像 1 和 2之间在“内容”上足够匹配区域，在适合的“内

容”区域为图像 1 应用图片 2 中恰当的“风格”：它在场景中的重要性排名，与图片 2 中的内容的相似度。

6. 填充空白的空间并缝合/使图像的各个区域完整统一。7. 算法伪代码：如图 2

8. 算法概述：如图 3

图 2 图像风格算法

图片 3 图片风格转换框架

参考文献：[1]Leon A. Gatys, Alexander S. Ecker,Matthias Bethge. “A Neural Algorithm of

Artistic Style.” https://arxiv.org/pdf/1508.06576.pdf

[2]Michael Elad and Peyman Milanfar “Style-Transfer via Texture-Synthesis”

arXiv:1609.03057

[3]Wei Zhang, Chen Cao, Shifeng Chen, Jianzhuang Liu, Senior Member,

IEEE, and Xiaoou Tang, Fellow, IEEE “Style Transfer Via Image Component

Analysis" ieeexplore.ieee.org/iel7/6046/6630084/06522845.pdf

[4]V. Kwatra, I. Essa, A. Bobick, and N. Kwatra, “Texture Optimization for

Example-Based Synthesis”, ACM ToG, Vol. 24, No. 3, pp. 795-802, 2005.

[5] L. A. Gatys, A. S. Ecker, and M. Bethge.Image style transfer using

convolutional neuralnetworks. InProceedings of the IEEE Conference on

Computer Vision and Pattern Recognition, pages2414–2423, 2016. 1, 2, 3, 5

[6] E. Reinhard, M. Adhikhmin, B. Gooch, and P.Shirley. Color transfer

between images. IEEE Computer Graphics and Applications, 21(5):34–

41,2001. 2, 5, 7