一种基于深度学习的图像风格迁移方法及系统技术方案

本发明专利技术公开一种基于深度学习的图像风格迁移方法及系统。本发明专利技术将利用AdaINRAST网络作为基本风格迁移网络，在此基础上改进为轻量级的编码器解码器网络，大大减少模型参数量从而提升迁移速度，减少信息损耗以保持图像的内容结构信息。采用渐进式应用AdaIN层的策略，在编码器中经过多个relu层后，将内容特征和风格特征的均值与标准差对齐以实现风格化，使风格渲染更精细充分。同时在解码器中添加注意力机制，使模型关注有效的通道和空间区域来重建图像，使显著性区域的语义信息得到更好保持。并且采用改进型损失函数，完善解码器重建图像的能力。使用所述方法有效提高了任意风格迁移模型的运行速度以及迁移质量。型的运行速度以及迁移质量。型的运行速度以及迁移质量。

【技术实现步骤摘要】
一种基于深度学习的图像风格迁移方法及系统


[0001]本专利技术涉及深度学习及图像风格迁移领域，具体涉及一种基于深度学习的图像风格迁移方法及系统。

技术介绍

[0002]如今，艺术创作、工业设计、影视娱乐、数字化模拟、公共安全等领域对图像风格迁移的需求日益增加，而通过图像处理软件手动创作设计耗时耗力，因此基于模型算法的图像风格迁移由于其自动化、低成本的优势成为计算机视觉领域一大研究热点。
[0003]图像的风格迁移是将风格图像的风格应用到内容图像得到风格化图像，风格化对象具有非常不同的表现形式，从纯粹的关系信息、稀疏或密集度量的深度信息到单个对象甚至多种场景。所以一种有效、兼容、稳定的图像风格迁移方法设计，已成为研究者们共同的研究目标。
[0004]传统图像风格迁移方法可以分为非真实感渲染与纹理迁移。非真实感渲染方法通过笔触渲染、图像类比和图像滤波等方式对各种艺术画作的画风进行数字化模拟。纹理迁移方法主要用于纹理合成，采用马尔科夫随机场等算法，根据参考图像来对输入图像进行纹理填充，使得生成图像具有类似于样图的纹理风格，适用于处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习网络的图像风格迁移方法，其特征在于该方法包括以下步骤：步骤一、获取内容图像与风格图像数据，构建数据集；步骤二、对数据集中的图像数据进行预处理；步骤三、神经网络搭建和训练；3
‑
1.搭建风格迁移网络所述风格迁移网络为卷积神经网络，采用改进自适应实例归一化实时任意风格迁移AdaINRAST网络，用于输入内容、风格图像输出风格化图像；所述风格迁移网络网络结构采用层数更浅的编码器
‑
解码器结构，编码器用于将内容、风格图像从像素空间映射到特征空间，解码器用于将风格化特征从特征空间映射回像素空间；所述编码器网络由现有网络VGG19的前18层及AdaIN层嵌入其中组成，包括依次级联的第一至二二维卷积单元、第一AdaIN层、第三二维卷积单元、第一最大池化单元、第四二维卷积单元、第二AdaIN层、第五二维卷积单元、第二最大池化单元、第六二维卷积单元、第三AdaIN层；第一二维卷积单元作为所述编码器网络的输入端，接预处理后二维图像数据；第三AdaIN层作为所述编码器网络的输出端，输出风格化特征数据；所述解码器网络包括CBAM注意力模块、第七二维卷积单元、第一上采样层、第八至九二维卷积单元、第二上采样层、第十至十一二维卷积单元；CBAM注意力模块的输入端作为解码器网络的输入端，接编码器第三AdaIN层输出的风格化特征数据；第十一二维卷积单元的输出端作为所述解码器网络的输出端，输出最终的风格化图像；3
‑
2.模型训练将步骤二预处理后图像数据输入到步骤3
‑
1搭建的风格迁移网络中进行训练；训练将通过改进型损失函数计算中风格迁移网络输出的风格化图像与目标图像的损失值；通过损失值反向传播，网络迭代参数不断减小损失值以完成训练；步骤四、根据步骤三所搭建并训练的网络模型，输入待迁移的内容图像、风格图像，最终输出风格化图像。2.根据权利要求1所述的一种基于深度学习网络的图像风格迁移方法，其特征在于所述第一二维卷积单元由二维卷积层构成，第二至十二维卷积单元均由反射填充层、二维卷积层、relu激活函数层依次串联构成，第十一二维卷积单元由反射填充层、二维卷积层构成。3.根据权利要求2所述的一种基于深度学习网络的图像风格迁移方法，其特征在于所述二维卷积层使用3
×
3卷积核。4.根据权利要求1所述的一种基于深度学习网络的图像风格迁移方法，其特征在于所述CBAM注意力模块采用CBAM注意力机制，将特征图先经过通道注意力模块生成通道注意力图，再将其输入到空间注意力模块生成空间注意力图，然后将空间注意力图与原始输入特征图进行残差连接求和，得到最终的输出特征。5.根据权利要求1所述的一种基于深度学习网络的图像风格迁移方法，其特征在于三层AdaIN输入特征的通道维度是递增的，分别为64、128、256，在多尺度的通道维度上渐进式应用AdaIN层，用风格特征的均值与标准差代替内容特征的均值与标准差，上一AdaIN层输出的风格化特征作为内容特征继续编码，在下一AdaIN层中继续将风格信息渲染到其上，能
够将风格均匀精细应用到内容特征上，形成最终完善的风格化特征；第一AdaIN层见式(1)
‑
(2)；t1＝AdaIN(x...

【专利技术属性】
技术研发人员：李秀梅，朱晴，孙军梅，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：