一种基于跨通道融合空间注意力机制的高清图像翻译方法技术

本发明专利技术涉及一种基于跨通道融合空间注意力机制的高清图像翻译方法，包括如下步骤：S1:选用原图数据集X，并预设目标域类别标签集C；S2:构建基于跨通道融合空间注意力机制的高清图像翻译模型M；S3：将选取的图片输入生成器中得到生成图像；S4:再将生成图像y

【技术实现步骤摘要】
一种基于跨通道融合空间注意力机制的高清图像翻译方法


[0001]本专利技术涉及高清图像翻译领域，特别涉及一种基于跨通道融合空间注意力机制的高清图像翻译方法。

技术介绍

[0002]当前图像作为最直接和便捷的信息载体，备受人们的青睐，这驱使了计算机视觉相关工作需要以更具创新和更大格局的发展态势。图像翻译技术作为计算机视觉领域的关键技术之一，得益于它的高价值和高可用性，备受越来越多的研究者关注。图像翻译技术旨在通过学习原始图像到目标图像的映射关系使得图像内容中某个属性的转换。一对一映射关系的图像翻译技术是目前的主流方法，但是在面对多组图像数据时，需要依据图像转换样式的数量来训练多个模型，其可扩展性和鲁棒性都有待提高，目前一对多映射关系的图像翻译模型可以很好地解决训练模型冗余的问题，但目前所公开的该类模型又大多关注低分辨率图像转换任务，转换结果存在背景污染和纹理细节丢失的缺陷，并不适用于多样式高清图像翻译任务。
[0003]当下的图像翻译的概念跟语言翻译的概念相通，即从某一个特定的领域转换到另一个特定的目标域，通过对图像内容中某个属性的改变去逼近目标图像内容的特定属性，如将普通马转换成斑马，山水画转换成油画等；并且当一对一映射关系图像翻译技术在面对多组图像数据时，需要依据图像数据的数量来训练多个网络模型，加大工作量的同时也会出现资源上的浪费。
[0004]目前图像翻译技术应用在许多方面并产生了很多成果，但是依然面临许多挑战：一是大多数图像翻译采用的数据都是低分辨率图像，图像成像质量较低，纹理细节保留较少，而如今随着摄影设备的发展，大多数图像都是以高分辨率的形式存在；二是利用高清图像作为训练数据，无疑会增加网络模型的计算量，并且高分辨图像包含丰富的纹理细节信息，在经过神经网络的卷积和池化操作后，难免会有部分纹理信息的丢失，会造成转换后的图像不够真实的现象存在；三是原域图像转换到目标域图像过程中，由于是对图像内容中的某个属性的改变，会造成图像背景内容的污染(如改变人物头发颜色的过程中，背景会受到头发颜色的污染)。

技术实现思路

[0005]针对现有技术存在的上述问题，本专利技术要解决的技术问题是：目前对高分辨率图片的图像翻译技术存在信息丢失，导致图像翻译不准确，而且会出现一对多映射关系的图像翻译模型的训练冗余问题。
[0006]为解决上述技术问题，本专利技术采用如下技术方案：
[0007]一种基于跨通道融合空间注意力机制的高清图像翻译方法，包括如下步骤：
[0008]S100：选用公开真实照片作为原图数据集X，并预设目标域类别标签集C，原图数据集X中为带有真实类别标签的图像数据，目标域类别标签集C中包括Q种样式的人物写真风
格类型的类别标签；
[0009]S200：构建基于跨通道融合空间注意力机制的高清图像翻译模型M，基于跨通道融合空间注意力机制的高清图像翻译模型M包括基于跨通道融合空间注意力机制的生成器和基于跨通道融合空间注意力机制的判别器；
[0010]所述生成器包括4个模块，依次为下采样模块、跨通道融合空间注意力机制模块、基于跨通道融合空间注意力机制的大残差嵌套小残差模块和上采样模块；
[0011]S300：令i＝1；
[0012]从X中选取第i张图片x
i
,将x
i
与C所包含的所有标签拼接在一起输入生成器中得到生成图像y
i
,即G(x
i
,C)
→
y
i
,具体步骤如下：
[0013]S310：将x
i
输入到下采样模块中，得到第i张图片对应的特征图F
i
，下采样模块包含有3个卷积层，每个卷积层分别对应一个实例规范化层；
[0014]S320：将特征图F
i
输入跨通道融合空间注意力机制模块得到特征图Fcs
i
，跨通道融合空间注意力机制模块记为CSA，具体步骤如下：
[0015]S321：将特征图F
i
输入CSA中得到特征图Fc
i
,将特征图Fc
i
进行平均池化处理得到平均池化表征；
[0016]S322：将特征图Fc
i
进行最大池化处理得到最大池化表征，所述平均池化表征和最大池化表征均为特征图长宽减半和特征图维度为2的空间表示；
[0017]S323：将特征图Fc
i
的平均池化表征和特征图Fc
i
的最大池化表征进行连接，将连接结果输入到转置卷积网络中，最后将转置卷积网络的输出结果进行Sigmoid激活函数的激活处理，得到特征图Fcs
i
，其中，转置卷积网络的步长大小为2、卷积核大小为4；
[0018]S330：将特征图Fcs
i
输入到基于跨通道融合空间注意力机制的大残差嵌套小残差模块中得到特征图Fr
i
，基于跨通道融合空间注意力机制的大残差嵌套小残差模块记为CSRIR，所述CSRIR包括G个大残差块，每个大残差块包含B个基于跨通道融合空间注意力机制的小残差块，基于跨通道融合空间注意力机制的小残差块记为RCSA；
[0019]S340：采用CSA模块对特征图Fr
i
进行处理，将处理结果输入上采样模块，得到生成图像y
i
；
[0020]S400：将生成图像y
i
输入到基于跨通道融合空间注意力机制的判别器中，得到生成图像y
i
的真实性D
src
(x
i
)和生成图像y
i
对应的图像类别D
cls
(c|G(x
i
,C))；
[0021]S500：将生成图像y
i
与目标域标签集C所包含的所有标签拼接在一起输入到的生成器中得到生成图像y
′
i
；
[0022]S510：将生成图像y
′
i
输入到基于跨通道融合空间注意力机制的判别器中，得到生成图像y
′
i
对应的图像类别
[0023]S520：计算M的生成器总损失函数和判别器总损失函数，所述生成器总损失函数和判别器总损失函数，具体步骤如下：
[0024]S521：采用带有梯度惩罚的WassersteinGAN目标损失作为M的对抗性损失函数表达式如下：
[0025][0026]y
i
＝G
src
(x
i
,C)
ꢀꢀꢀ
(2)
[0027]其中，G
src
(x
i
,C)表示生成器的生成图像，D
sr
(x
i
)表示判别器对x
i
的概率分布，表示真实图像与生成图像之间的先行均匀采样，表示微本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨通道融合空间注意力机制的高清图像翻译方法，其特征在于：包括如下步骤：S100：选用公开真实照片作为原图数据集X，并预设目标域类别标签集C，原图数据集X中为带有真实类别标签的图像数据，目标域类别标签集C中包括Q种样式的人物写真风格类型的类别标签；S200：构建基于跨通道融合空间注意力机制的高清图像翻译模型M，基于跨通道融合空间注意力机制的高清图像翻译模型M包括基于跨通道融合空间注意力机制的生成器和基于跨通道融合空间注意力机制的判别器；所述生成器包括4个模块，依次为下采样模块、跨通道融合空间注意力机制模块、基于跨通道融合空间注意力机制的大残差嵌套小残差模块和上采样模块；S300：令i＝1；从X中选取第i张图片x
i
，将x
i
与C所包含的所有标签拼接在一起输入生成器中得到生成图像y
i
，即G(x
i
，C)
→
y
i
，具体步骤如下：S310：将x
i
输入到下采样模块中，得到第i张图片对应的特征图F
i
，下采样模块包含有3个卷积层，每个卷积层分别对应一个实例规范化层；S320：将特征图F
i
输入跨通道融合空间注意力机制模块得到特征图Fcs
i
，跨通道融合空间注意力机制模块记为CSA，具体步骤如下：S321：将特征图F
i
输入CSA中得到特征图Fc
i
，将特征图Fc
i
进行平均池化处理得到平均池化表征；S322：将特征图Fc
i
进行最大池化处理得到最大池化表征，所述平均池化表征和最大池化表征均为特征图长宽减半和特征图维度为2的空间表示；S323：将特征图Fc
i
的平均池化表征和特征图Fc
i
的最大池化表征进行连接，将连接结果输入到转置卷积网络中，最后将转置卷积网络的输出结果进行Sigmoid激活函数的激活处理，得到特征图Fcs
i
，其中，转置卷积网络的步长大小为2、卷积核大小为4；S330：将特征图Fcs
i
输入到基于跨通道融合空间注意力机制的大残差嵌套小残差模块中得到特征图Fr
i
，基于跨通道融合空间注意力机制的大残差嵌套小残差模块记为CSRIR，所述CSRIR包括G个大残差块，每个大残差块包含B个基于跨通道融合空间注意力机制的小残差块，基于跨通道融合空间注意力机制的小残差块记为RCSA；S340：采用CSA模块对特征图Fr
i
进行处理，将处理结果输入上采样模块，得到生成图像y
i
；S400：将生成图像y
i
输入到基于跨通道融合空间注意力机制的判别器中，得到生成图像y
i
的真实性D
src
(x
i
)和生成图像y
i
对应的图像类别D
cls
(c|G(x
i
，C))；S500：将生成图像y
i
与目标域标签集C所包含的所有标签拼接在一起输入到的生成器中得到生成图像y
′
i
；S510：将生成图像y
′
i
输入到基于跨通道融合空间注意力机制的判别器中，得到生成图像y
′
i
对应的图像类别S520：计算M的生成器总损失函数和判别器总损失函数，所述生成器总损失函数和判别器总损失函数，具体步骤如下：S521：采用带有梯度惩罚的WassersteinGAN目标损失作为M的对抗性损失函数表
达式如下：y
i
＝G
src
(x
i
，C)...

【专利技术属性】
技术研发人员：张欣，杨梦宁，简坤元，龙超，邓植夫，柴海洋，
申请(专利权)人：重庆大学，
类型：发明
国别省市：