【技术实现步骤摘要】
本专利技术属于图像处理，尤其是涉及一种使用深度网络实时改变图像风格的方法。
技术介绍
1、改变图像风格即用一种方法将一类图像的风格改变成为另一类图像风格。在艺术创作过程中，绘画者通常将自然景物绘制成具有一定艺术风格的作品，对于绘画者而言，若形成某种绘画风格需要很长时间的练习；而对于一般人而言很难获得具有特定艺术风格的作品。近年来，随着深度学习、计算机视觉技术的发展，图像风格的改变技术成为研究热点。图像风格改变技术应用于不同艺术风格图像的合成，在艺术创作以及艺术设计领域具有广阔的应用前景。然而，现有方法在图像风格转换时，需要较长的计算时长，难以实现图像风格的快速改变，导致无法部署到智能平台来满足大众的需求。
2、因此，需要一种解决或至少改善现有技术中固有的一个或多个改变图像风格的问题，在保证合成图像质量的前提下，提高改变图像风格的计算速度以满足实时应用的需求。
技术实现思路
1、本专利技术的目的是提供一种使用深度网络实时改变图像风格的方法，该方法可适用于不同大小的图像，计算量小，图像合成质量能够满足实际应用的需求，为艺术创作、艺术设计以及特定风格绘画作品的需求者提供了有利的技术支撑。
2、为实现上述目的，本专利技术提供一种使用深度网络实时改变图像风格的方法，包括以下步骤：
3、s1、构建内容图像和风格图像的成对数据集；
4、s2、将内容图像输入到跳连的生成器网络，并将其生成具有目标风格的图像；
5、s3、将生成器生成的图像与
6、s4、构建损失函数，利用构建的损失函数将训练结果反馈到生成器网络进行参数的更新，完成模型训练；
7、s5、利用训练好的模型，实现图像风格的实时改变。
8、优选的，步骤s1构建内容图像和风格图像的成对数据集的具体过程如下：
9、s11、采集相机拍摄的内容图像ia及搜集艺术风格的图像is各n张，并裁剪为i×i大小的图像，构建非成对数据集；
10、s12、假设is∈x,ia∈y，利用循环一致对抗网络学习映射f:x→y，采用循环一致对抗网络对非成对数据集中is和ia进行训练；
11、s13、使用训练好的模型将艺术风格的图像is转换为与艺术风格的图像is配对的内容图像ic，构建成对数据集。
12、优选的，步骤s2中，将内容图像生成具有目标风格图像的生成器网络包含编码器、解码器以及跳跃连接结构；
13、所述编码器包含m1个下采样模块；所述下采样模块依次连接卷积层、批归一化层和leakyrelu激活层；
14、所述解码器包含m2个上采样模块；最后一个所述上采样模块依次连接填充层、卷积层以及tanh激活层，除最后一个所述上采样模块外的所述上采样模块依次连接转置卷积层、批归一化层和relu激活层；
15、所述跳跃连接结构为所述下采样模块的输出与所述下采样模块对应的镜像所述上采样模块的输入相连接。
16、优选的，所述马尔科夫判别器依次连接n1个卷积模块和n2个填充模块，最终输出n×n特征矩阵；
17、所述卷积模块依次连接卷积层和leakyrelu激活层；
18、所述填充模块依次连接零填充层和卷积层；
19、所述n×n特征矩阵是马尔科夫判别器以图像块的形式对图像中的高维信息进行判别。
20、优选的，步骤s4中，所述损失函数是由具有梯度判别的wgan-gp损失、平均绝对误差损失以及内容损失组成，所述损失函数具体为：
21、lobj＝mingmaxdlwgan-gp(g,d)+λ1l1(g)+λ2lcon(g)
22、其中，lobj表示所述损失函数，lwgan-gp表示所述wgan-gp损失，l1表示所述平均绝对误差损失，lcon表示所述内容损失，λ1和λ2分别为l1和lcon损失函数的权重系数，g表示所述生成器，d表示所述判别器，ming表示所述生成器g取得最小值，maxd表示所述判别器d取得最大值。
23、优选的，所述wgan-gp损失的具体表达式为：
24、
25、其中，表示风格图像is服从训练集概率分布的期望，表示内容图像ic服从生成器生成图像概率分布的期望，表示惩罚项服从概率分布的期望，是介于和概率之间的区域，表示判别器d中相对于梯度的模，λ为权重系数。
26、优选的，所述平均绝对误差损失的具体表达式为：
27、l1＝e[||is-g(ic)||1]
28、其中，e[||is-g(ic)||1]表示风格图像与生成器生成内容图像的绝对误差期望，用于捕获图像中的低维特征。
29、优选的，所述内容损失的具体表达式为：
30、
31、其中，φj表示图像通过vgg19网络的第j次卷积后提取的高维特征，vgg19表示在imagenet数据集中的预训练模型，表示风格图像的高维特征与生成器生成内容图像的高维特征之间欧几里得距离的期望。
32、因此，本专利技术采用上述一种使用深度网络实时改变图像风格的方法，具有以下有益效果：
33、(1)构建了一个成对图像到图像翻译的模型，由于生成器采用跳连的编解码器结构，可将编码器中下采样部分的特征直接输入到与其镜像的解码器的上采样部分，降低信息的计算量，提高计算速率；
34、(2)判别器采用patchgan结构，以图像块的形式对生成图像进行判别，而patchgan中的图像块在判别时具有很少的参数，处理速度快，并且能够应用到任何大的图像中；
35、(3)利用wgan-gp、平均绝对误差损失以及内容损失作为目标函数，提高训练的稳定性及合成图像的质量。
36、下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
本文档来自技高网...【技术保护点】
1.一种使用深度网络实时改变图像风格的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种使用深度网络实时改变图像风格的方法，其特征在于，步骤S1构建内容图像和风格图像的成对数据集的具体过程如下：
3.根据权利要求1所述的一种使用深度网络实时改变图像风格的方法，其特征在于：步骤S2中，将内容图像生成具有目标风格图像的生成器网络包含编码器、解码器以及跳跃连接结构；
4.根据权利要求1所述的一种使用深度网络实时改变图像风格的方法，其特征在于：所述马尔科夫判别器依次连接n1个卷积模块和n2个填充模块，最终输出N×N特征矩阵；
5.根据权利要求1所述的一种使用深度网络实时改变图像风格的方法，其特征在于，步骤S4中，所述损失函数是由具有梯度判别的WGAN-GP损失、平均绝对误差损失以及内容损失组成，所述损失函数具体为：
6.根据权利要求5所述的一种使用深度网络实时改变图像风格的方法，其特征在于，所述WGAN-GP损失的具体表达式为：
7.根据权利要求5所述的一种使用深度网络实时改变图像风格的方法，其特征在于，
8.根据权利要求5所述的一种使用深度网络实时改变图像风格的方法，其特征在于，所述内容损失的具体表达式为：
...【技术特征摘要】
1.一种使用深度网络实时改变图像风格的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种使用深度网络实时改变图像风格的方法，其特征在于，步骤s1构建内容图像和风格图像的成对数据集的具体过程如下：
3.根据权利要求1所述的一种使用深度网络实时改变图像风格的方法，其特征在于：步骤s2中，将内容图像生成具有目标风格图像的生成器网络包含编码器、解码器以及跳跃连接结构；
4.根据权利要求1所述的一种使用深度网络实时改变图像风格的方法，其特征在于：所述马尔科夫判别器依次连接n1个卷积模块和n2个填充模块，最终输出n×n特征矩阵；
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。