一种图像处理方法、装置、电子设备和存储介质制造方法及图纸

本公开关于一种图像处理方法、装置、电子设备和存储介质，涉及图像处理技术领域，以至少解决相关技术中压缩奖惩模块的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显的问题。该方法包括：采用编码器对原始图像进行特征提取，获得原始图像在编码器的每一层次结构的编码特征；其中，编码特征包括浅层特征；将编码特征输入到解码器中，并执行第一操作，得到结果特征图；其中，编码器和解码器内包含的层次结构的总数相同；根据结果特征图，确定原始图像的处理结果。原始图像的处理结果。原始图像的处理结果。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备和存储介质


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备和存储介质。

技术介绍

[0002]基于深度学习的图像风格迁移(style transfer)网络中，在进行图像分格迁移时，需要对该基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合，从而保证原始图像内容没有变化。但是，在对该基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合的过程中往往需要大量的计算量。
[0003]为此，现有技术中提出了注意力机制，用于在保证风格迁移后的原始图像内容没有变化的同时，降低基于深度学习的图像风格迁移网络中编码器的特征和解码器的特征进行特征融合的过程中的计算量。如：压缩奖惩模块(squeeze
‑
and
‑
excitation block，SE block)是Squeeze
‑
and
‑
Excitation Networks是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构中的注意力机制，它通过对基于深度学习的图像风格迁移网络中各个特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。但是，SE block的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显。

技术实现思路

[0004]本公开提供一种图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中压缩奖惩模块的缺点是对基于深度学习的图像风格迁移网络中深层特征的准确率提升较明显，但是对基于深度学习的图像风格迁移网络中较浅特征的准确率提升不明显。
[0005]本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种图像处理方法，包括：采用编码器对原始图像进行特征提取，获得原始图像在编码器的每一层次结构的编码特征；其中，编码特征包括浅层特征；将编码特征输入到解码器中，根据解码器中当前层次结构的解码特征以及编码器中与当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；根据剔除预设特征后的编码特征和解码特征，确定结果特征图；其中，编码器和解码器内包含的层次结构的总数相同；根据结果特征图，确定原始图像的处理结果。
[0007]在一种可实施的方式中，上述“根据解码器中当前层次结构的解码特征以及编码器中与当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征”，具体可以通过下述方式实现：对解码特征和编码特征中的特征进行特征融合，确定第一融合特征；根据第一融合特征，确定解码特征与编码特征之间的关联度；根据关联度和编码特征，确定剔除预设特征后的编码特征。
[0008]在一种可实施的方式中，上述“根据剔除预设特征后的编码特征和解码特征，确定结果特征图”，具体可以通过下述方式实现：对剔除预设特征后的编码特征和解码特征进行
特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征；当下一层次结构是最后一个层次结构时，将下一层次结构确定的第二融合特征对应的特征图作为结果特征图。
[0009]在一种可实施的方式中，本公开实施例提供的图像处理方法还包括：当下一层次结构不是最后一个层次结构时，根据解码器在下一层次结构的解码特征，以及编码器中与下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；对剔除预设特征后的编码特征和下一层次结构的解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
[0010]在一种可实施的方式中，上述根据融合特征，确定解码特征与编码特征之间的关联度，具体可以通过下述方式实现：将融合特征对应的特征张量输入至预设的激活函数，确定解码特征与编码特征之间的关联度。
[0011]在一种可实施的方式中，上述激活函数为Sigmoid函数。
[0012]在一种可实施的方式中，上述根据关联度和编码特征，确定剔除预设特征后的编码特征，具体可以通过下述方式实现：将关联度与编码特征对应的特征张量进行点乘，确定剔除预设特征后的编码特征。
[0013]在一种可实施的方式中，上述将关联度与编码特征对应的特征张量进行点乘，确定剔除预设特征后的编码特征，具体可通过下述方式实现：将关联度与编码特征对应的特征张量进行点乘，将点乘后的编码特征中点乘结果为0的特征剔除，确定剔除预设特征后的编码特征。
[0014]在一种可实施的方式中，上述对剔除预设特征后的编码特征和编码特征进行特征融合，确定第二融合特征，具体可通过下述方式实现：将剔除预设特征后的编码特征对应的特征张量和和解码特征对应的特征张量进行卷积运算，确定第二融合特征。
[0015]根据本公开实施例的第二方面，提供一种图像处理装置，包括：获取单元和处理单元；获取单元，被配置为采用编码器对原始图像进行特征提取，获得原始图像在编码器的每一层次结构的编码特征；其中，编码特征包括浅层特征；处理单元，被配置为将获取单元获取的编码特征输入到解码器中，根据解码器中当前层次结构的解码特征以及编码器中与获取单元获取的当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；处理单元，被配置为根据剔除预设特征后的编码特征和解码特征，确定结果特征图；其中，编码器和解码器内包含的层次结构的总数相同；处理单元，被配置为根据结果特征图，确定原始图像的处理结果。
[0016]在一种可实施的方式中，处理单元，具体被配置为对解码特征和处理单元，被配置为编码特征中的特征进行特征融合，确定第一融合特征；处理单元，具体被配置为根据第一融合特征，确定解码特征与获取单元获取的编码特征之间的关联度；处理单元，具体被配置为根据关联度和获取单元获取的编码特征，确定剔除预设特征后的编码特征。
[0017]在一种可实施的方式中，处理单元，具体被配置为对剔除预设特征后的编码特征和解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征；处理单元，具体被配置为当下一层次结构是最后一个层次结构时，将下一层次结构确定的第二融合特征对应的特征图作为结果特征图。
[0018]在一种可实施的方式中，处理单元，还被配置为当下一层次结构不是最后一个层
次结构时，根据解码器在下一层次结构的解码特征，以及获取单元获取的编码器中与下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；对剔除预设特征后的编码特征和下一层次结构的解码特征进行特征融合，确定第二融合特征，并将第二融合特征作为解码器在下一层次结构的解码特征。
[0019]在一种可实施的方式中，处理单元，具体被配置为将获取单元获取的解码特征对应的特征张量和获取单元获取的编码特征对应的特征张量进行卷积运算，确定第一融合特征。
[0020]在一种可实施的方式中，处理单元，具体被配置为将融合特征对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：采用编码器对原始图像进行特征提取，获得所述原始图像在所述编码器的每一层次结构的编码特征；其中，所述编码特征包括浅层特征；将所述编码特征输入到解码器中，根据所述解码器中当前层次结构的解码特征以及所述编码器中与所述当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；根据所述剔除预设特征后的编码特征和所述解码特征，确定结果特征图；其中，所述编码器和所述解码器内包含的层次结构的总数相同；根据所述结果特征图，确定所述原始图像的处理结果。2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述解码器中当前层次结构的解码特征以及所述编码器中与所述当前层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征，包括：对所述解码特征和所述编码特征中的特征进行特征融合，确定第一融合特征；根据所述第一融合特征，确定所述解码特征与所述编码特征之间的关联度；根据所述关联度和所述编码特征，确定剔除预设特征后的编码特征。3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述剔除预设特征后的编码特征和所述解码特征，确定结果特征图，包括：对所述剔除预设特征后的编码特征和所述解码特征进行特征融合，确定第二融合特征，并将所述第二融合特征作为所述解码器在下一层次结构的解码特征；当下一层次结构是最后一个层次结构时，将所述下一层次结构确定的第二融合特征对应的特征图作为所述结果特征图。4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：当下一层次结构不是最后一个层次结构时，根据所述解码器在下一层次结构的解码特征，以及所述编码器中与所述下一层次结构的解码特征对应的编码特征，确定剔除预设特征后的编码特征；对所述剔除预设特征后的编码特征和所述下一层次结构的解码特征进行特征融合，确定第二融合特征，并将所述第二融...

【专利技术属性】
技术研发人员：黄星，宋丛礼，郭益林，郑文，万鹏飞，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：