图像风格转移方法及系统技术方案

本发明专利技术公开一种图像风格转移方法及系统，其中方法包括以下步骤：获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；计算获得所述特征图的掩码图；基于所述特征图进行风格转移，生成相对应的转移特征图；计算获得所述转移特征图的反馈权重图；基于所述转移特征图和所述反馈权重图生成重构图；基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。本发明专利技术通过根据原始图像的特征生成相对应的掩码图和反馈权重图，对进行风格转移后的转移特征图进行加权处理，从而根据原始图像的特征分别对原始图像中不同区域风格变化的幅度和范围进行限制，从而保证目标生成图像生成相应风格的同时，保留原始图像的细节。

【技术实现步骤摘要】
图像风格转移方法及系统
本专利技术涉及图像处理领域，尤其涉及一种图像风格转移方法及系统。
技术介绍
目前，图像风格生成方法主要通过风格转移对抗网络实现。现有的风格转移对抗网络模型一般立足于物体风格辅助设计而建立，能够基于使用者提供的简单轮廓图生成具备期望风格的模拟设计图，由于风格转移对抗网络模型偏向所生成图像的针对，故针对存在较多细节的轮廓图的风格生成，往往会丢失原图中的部分细节。
技术实现思路
本专利技术针对现有技术中的缺点，提供了一种图像风格转移方法及系统。为了解决上述技术问题，本专利技术通过下述技术方案得以解决：一种图像风格转移方法，包括以下步骤：获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；计算获得所述特征图的掩码图；基于所述特征图进行风格转移，生成相对应的转移特征图；计算获得所述转移特征图的反馈权重图；基于所述转移特征图和所述反馈权重图生成重构图；基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。作为一种可实施方式：对所述原始图像进行至少两次卷积计算，获得第一特征图；对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。作为一种可实施方式：将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。作为一种可实施方式：将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。作为一种可实施方式：将重构图和掩码图进行通道联合后进行至少一次卷积计算，获得目标生成图像。本专利技术还提出一种图像风格转移系统，包括：采样模块，用于获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；掩码模块，用于计算获得所述特征图的掩码图；转换模块，用于基于所述特征图进行风格转移，生成相对应的转移特征图；正反馈模块，用于计算获得所述转移特征图的反馈权重图；上采样模块，用于基于所述转移特征图和所述反馈权重图生成重构图；生成模块，用于基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。作为一种可实施方式：所述采样模块被配置为：对所述原始图像进行至少两次卷积计算，获得第一特征图；对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；所述掩码模块，用于提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。作为一种可实施方式：所述转换模块，用于将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；所述正反馈模块，用于提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。作为一种可实施方式，上采样模块被配置为：将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。本专利技术还提出一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。本专利技术由于采用了以上技术方案，具有显著的技术效果：本专利技术通过根据原始图像的特征生成相对应的掩码图和反馈权重图，对进行风格转移后的转移特征图进行加权处理，从而根据原始图像的特征分别对原始图像中不同区域风格变化的幅度和范围进行限制，从而保证目标生成图像生成相应风格的同时，保留原始图像的细节。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是现有风格转移对抗网络模型中生成器的模型结构示意图；图2是本专利技术一种图像风格转移方法的工作流程示意图；图3是图2中步骤S200的流程示意图；图4是图2中步骤S400的流程示意图；图5是专利技术一种图像风格转移系统的模块连接示意图；图6是案例中风格转移效果对比示意图。上图中，100是采样模块、200是转换模块、300是上采样模块、400是掩码模块、500是正反馈模块、600是生成模块。具体实施方式下面结合实施例对本专利技术做进一步的详细说明，以下实施例是对本专利技术的解释而本专利技术并不局限于以下实施例。现有风格转移对抗网络模型包括生成器和判别器，通过生成器生成相应风格的图像，通过判别器控制所生成图像的质量；预先采集风格图和待转移风格的内容图，利用上述风格图和内容图训练生成器，由所述生成器重构与内容图相对应的风格转移图；利用风格图和生成器重构的风格转移图训练判别器，令判别器判断输入图像是风格图(真)或风格转移图(假)的概率，并根据判别器输出的判别结果的准确度令判别器和生成器继续进行相互竞争的迭代训练，使生成器重构的风格转移图更真实。其中，生成器的具体工作内容如下：获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；基于所述特征图进行风格转移，生成相对应的转移特征图；基于所述转移特征图进行图像生成，获得目标生成图像；在实际使用时，向训练获得的生成器中输入原始图像，由生成器基于其对风格图的学习重构图像，即，输出风格转移后的目标生成图像。参照图1，现有生成器的模型结构包括采样模块100、转换模块200和上采样模块300，其中采样模块100由2～4层卷积层(conv2d)和1个池化层(pool2d)构成，转换模块200由3～4层残差卷积层构成，上采样模块300由2～4层反卷积层(conv2d_trans)和1个反池化层(upool2d)构成，卷积层数量(conv2d)和反卷积层(conv2d_trans)数量相同。训练获得的生成器注重风格转移后目标生成图像的整体感官，即，目标生成图像逼真程度，往往忽视了原始图像中细节信息的完整性，重构过程中往往会丢失部分细节；如果利用上述技术方案进行风格转移时保留原始图像的细节信息，则需要在训练过程中，采用类似轮廓的内容图和具有类似细节的风格图进行训练，但其实际使用本文档来自技高网...

【技术保护点】
1.一种图像风格转移方法，其特征在于包括以下步骤：/n获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；/n计算获得所述特征图的掩码图；/n基于所述特征图进行风格转移，生成相对应的转移特征图；/n计算获得所述转移特征图的反馈权重图；/n基于所述转移特征图和所述反馈权重图生成重构图；/n基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。/n

【技术特征摘要】
1.一种图像风格转移方法，其特征在于包括以下步骤：
获取原始图像，对所述原始图像进行特征提取，获得相对应的特征图；
计算获得所述特征图的掩码图；
基于所述特征图进行风格转移，生成相对应的转移特征图；
计算获得所述转移特征图的反馈权重图；
基于所述转移特征图和所述反馈权重图生成重构图；
基于所述重构图和所述掩码图进行图像生成，获得目标生成图像。


2.根据权利要求1所述的图像风格转移方法，其特征在于：
对所述原始图像进行至少两次卷积计算，获得第一特征图；
对所述第一特征图进行特征折叠，获得第二特征图，将第二特征图作为特征图；
提取每次卷积计算的结果，获得第一卷积结果，再次对各第一卷积结果进行卷积计算后，获得第二卷积结果，对所得第二卷积结果进行合并卷积，生成掩码图。


3.根据权利要求2所述的图像风格转移方法，其特征在于：
将所述特征图进行至少三次残差卷积计算，获得转移特征图，所述转移特征图与所述特征图的尺度一致；
提取每次残差卷积计算的结果，获得残差卷积结果，对所得残差卷积结果进行合并卷积，生成反馈权重图。


4.根据权利要求3所述的图像风格转移方法，其特征在于：
将所述转移特征图与所述反馈权重图进行合并，获得合并特征图；
对所得合并特征图进行至少两次反卷积计算后进行特征平铺处理，生成重构图，其中，反卷积计算与卷积计算的次数一致，重构图与原始图像的尺度一致。


5.根据权利要求1至4任一所述的图像风格转移方法，其特征在于：
将重构图和掩码图进行通道联合后进行至少一次卷积计算，获得目标生成图像。


6.一种图像风格转移系统，其特征在于包括：
采样模块，用于获取原始...

【专利技术属性】
技术研发人员：叶俊彦，佘邵镔，
申请(专利权)人：杭州云汽配配科技有限公司，
类型：发明
国别省市：浙江;33