一种无损数字刺绣图像风格迁移方法技术

本发明专利技术公开了一种无损数字刺绣图像风格迁移方法

【技术实现步骤摘要】
一种无损数字刺绣图像风格迁移方法、系统、设备及介质


[0001]本专利技术涉及图像风格迁移
，尤其是涉及一种无损数字刺绣图像风格迁移方法
、
系统
、
设备及介质
。

技术介绍

[0002]现有的艺术风格迁移方法，大多使用基于预训练好的
VGG
编码器来提取内容图像和风格图像的高阶特征，并设计各种转换模块来将风格图像的风格特征和内容图像的内容特征进行融合，后将融合生成的特征图经过设计好的与编码器成对的解码器后得到风格化的图像
。
这种基于预训练的编码器来提取特征进行风格融合的方法，虽然相比于以前的方法，显示出了令人印象深刻的风格化效果，但是一方面由于预训练的
VGG
网络的本来目标是提取对象级的信息以用于目标识别和分类作用，所以无法对内容和风格信息进行精准的提取和解耦，另一方面有偏的风格转换模块（例如
SANet
方法，它将注意力机制的输出直接加到内容特征图上，这是一个不可逆的过程）以及解码器不可避免的重建损失，使得现有的基于预训练模型的艺术风格迁移方法存在以下几个方面的问题：内容泄露问题：使用一张内容图像和风格图像通过风格化网络生成风格化图像后，将风格化图像作为内容图像，风格图像继续作为风格图像进行多次风格化操作，会发现经过几次迭代后风格化结果中原内容图像的内容出现泄漏
。
风格异常问题：这个问题对于艺术风格迁移，尤其是绣品风格迁移极为不利
。
风格异常问题即当把风格化的图像（即拥有刺绣风格的自然图像）作为风格图，任意自然图像进行内容图再进行风格迁移过程后，生成的图像的风格会出现不符合预期的结果
。
[0003]目前暂时没有针对数字刺绣这类绣品风格图像进行专门的风格化设计的方法，也就是说，用现有的艺术风格迁移的方法对具有刺绣风格的图像进行风格迁移后生成的刺绣风格化图像不包含一些刺绣所特有的风格特色和纹理细节，这是最主要的一个问题
。
现有的方法中存在一些方法采用流模型的思想来解决基于
VGG
提取特征的模型存在的内容泄露等问题，但基于流的模型由于对于特征提取可逆的要求，耦合模块的表征能力较弱，且由于使用的风格转换模块（
AdaIN
或
WCT
）自身的缺陷，风格化的效果不尽如人意，也很难对数字刺绣图像的风格进行良好的保持
。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一
。
为此，本专利技术提出一种无损数字刺绣图像风格迁移方法
、
系统
、
设备及介质，能够在解决内容泄露问题和风格异常问题的同时将刺绣图像的风格进行良好的保持
。
[0005]第一方面，本专利技术实施例提供了一种无损数字刺绣图像风格迁移方法，所述无损数字刺绣图像风格迁移方法包括：获取内容图像和刺绣图像；构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；
将所述内容图像和所述刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过所述可逆残差模块进行前向映射，得到所述内容图像的第一特征图和所述刺绣图像的第二特征图；采用所述基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，得到风格化的特征图；对所述风格化的特征图采用所述可逆残差模块进行回归，得到风格迁移后的刺绣风格图像
。
[0006]与现有技术相比，本专利技术第一方面具有以下有益效果：本方法采用了可逆残差模块对内容图像和刺绣图像进行处理，可逆残差模块消除了基于预训练模型的方法中解码器的重建误差，完全可逆的设计使得整个风格迁移过程不存在内容和风格泄露问题，从而实现无损的风格迁移；采用基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，能过保证不存在内容泄露问题的同时将不同语义区域的风格转换到内容图像中对应语义区域，采用损失函数训练好的风格迁移网络模型，得到风格迁移后的刺绣风格图像，能够在解决内容泄露问题和风格异常问题的同时将刺绣图像的风格进行良好的保持
。
[0007]根据本专利技术的一些实施例，所述可逆残差模块通过如下方式进行前向映射：
[0008]其中，表示把输入沿通道维度均分成两份，一份为，另一份为，表示所述可逆残差模块进行前向映射的输出，表示三个带有
Relu
激活层的卷积操作
。
[0009]根据本专利技术的一些实施例，所述基于注意力机制的风格转换模块通过如下方式将所述第一特征图和所述第二特征图进行风格迁移：
[0010][0011]其中，表示注意力机制，表示利用注意力模块预测出的调制参数，表示归一化后的第一特征图，表示归一化后的第二特征图，表示求均值操作，表示逐元素点乘，和表示权重参数，表示风格化的特征图
。
[0012]根据本专利技术的一些实施例，所述可逆残差模块通过如下方式进行回归：
[0013]其中，表示把输入沿通道维度均分成两份，一份为，另一份为，表示所述可逆残差模块进行回归的输出，表示三个带有
Relu
激活层的卷积操作
。
[0014]根据本专利技术的一些实施例，通过如下方式构建所述损失函数：
采用风格判别损失函数作为第一损失函数；引入对比学习，构建对比损失函数；引入
GAN
判别器，构建第二损失函数和第三损失函数；基于所述第一损失函数
、
所述对比损失函数
、
所述第二损失函数和所述第三损失函数，构建所述损失函数
。
[0015]根据本专利技术的一些实施例，通过如下方式构建对比损失函数：
[0016]其中，，表示风格投影网络，表示从刺绣图像中提取风格嵌入，表示用预训练的
VGG
网络提取的第层特征，表示对比学习中使用的一个温度超参数，表示由刺绣图像和内容图像生成的风格迁移后的刺绣风格图像，表示除了以外的所有组合，表示除了以外的所有组合
。
[0017]根据本专利技术的一些实施例，通过如下方式构建所述第二损失函数和所述第三损失函数：通过如下方式构建所述第二损失函数：
[0018]通过如下方式构建所述第三损失函数：
[0019]其中，表示采用的
GAN
判别器，表示刺绣图像数据集里的刺绣图像，表示一般艺术图像数据集的图像，表示风格迁移网络模型生成的风格迁移后的刺绣风格图像，表示纹理提取器提取纹理
。
[0020]第二方面，本专利技术实施例还提供了一种无损数字刺绣图像风格迁移系统，所述无损数字刺绣图像风格迁移系统包括：数据获取单元，用于获取内容图像和刺绣图像；模型构建单元，用于构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；特征获得单元，用于将所述内容图像和所述刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过所述可逆残差模块进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无损数字刺绣图像风格迁移方法，其特征在于，所述无损数字刺绣图像风格迁移方法包括：获取内容图像和刺绣图像；构建包含可逆残差模块和基于注意力机制的风格转换模块的风格迁移网络模型；将所述内容图像和所述刺绣图像输入至采用损失函数训练好的风格迁移网络模型中，并通过所述可逆残差模块进行前向映射，得到所述内容图像的第一特征图和所述刺绣图像的第二特征图；采用所述基于注意力机制的风格转换模块将所述第一特征图和所述第二特征图进行风格迁移，得到风格化的特征图；对所述风格化的特征图采用所述可逆残差模块进行回归，得到风格迁移后的刺绣风格图像
。2.
根据权利要求1所述的无损数字刺绣图像风格迁移方法，其特征在于，所述可逆残差模块通过如下方式进行前向映射：，其中，表示把输入沿通道维度均分成两份，一份为，另一份为，表示所述可逆残差模块进行前向映射的输出，表示三个带有
Relu
激活层的卷积操作
。3.
根据权利要求1所述的无损数字刺绣图像风格迁移方法，其特征在于，所述基于注意力机制的风格转换模块通过如下方式将所述第一特征图和所述第二特征图进行风格迁移：， ，其中，表示注意力机制，表示利用注意力模块预测出的调制参数， 表示归一化后的第一特征图，表示归一化后的第二特征图，表示求均值操作，表示逐元素点乘，和表示权重参数，表示风格化的特征图
。4.
根据权利要求1所述的无损数字刺绣图像风格迁移方法，其特征在于，所述可逆残差模块通过如下方式进行回归：，其中，表示把输入沿通道维度均分成两份，一份为，另一份为，表示所述可逆残差模块进行回归的输出，表示三个带有
Relu
激活层的卷积操作
。5.
根据权利要求1所述的无损数字刺绣图像风格迁移方法，其特征在于，通过如下方式构建所述损失函数：采用风格判别损失函数作为第一损失函数；引入对比学习，构建对比损失函数；
引入
GAN
判别器，构建第二损失函数和第三损失函数；基于所述第一损失函数
、
所述对比损失函数
、
所述第二损失函数和所述第三损失函数，构建所述损失函数
。6.
根据权利要求5...

【专利技术属性】
技术研发人员：刘熙尧，杨思宇，欧阳平波，张昊，张健，方辉，
申请(专利权)人：中南大学，
类型：发明
国别省市：