图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：对待处理图像进行特征提取，得到待处理图像的第一特征图；根据第一特征图的维度信息及预设的拆分规则，将第一特征图拆分为多个第一子特征图，第一特征图的维度信息包括第一特征图的维度以及各个维度的尺寸；对多个第一子特征图分别进行归一化处理，得到多个第二子特征图；对多个第二子特征图进行拼接，得到待处理图像的第二特征图。本公开实施例可减小完整特征图归一化时的统计误差。

Image processing method and device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
在深度学习网络中，可以对输入的特征图从某一固定的维度进行归一化计算，不仅能够加快模型的收敛速度，还能够缓解深层网络中的“梯度弥散”问题，从而更易于训练深度神经网络并得到更稳定的网络。然而，在图像中各个区域之间存在差异的情况下，归一化计算可能会导致统计误差，导致网络性能变差。
技术实现思路
本公开提出了一种图像处理技术方案。根据本公开的一方面，提供了一种图像处理方法，包括：对待处理图像进行特征提取，得到所述待处理图像的第一特征图；根据所述第一特征图的维度信息及预设的拆分规则，将所述第一特征图拆分为多个第一子特征图，所述第一特征图的维度信息包括所述第一特征图的维度以及各个维度的尺寸；对所述多个第一子特征图分别进行归一化处理，得到多个第二子特征图；对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图。在一种可能的实现方式中，根据所述第一特征图的维度信息及预设的拆分规则，将所述第一特征图拆分为多个第一子特征图，包括：根据所述第一特征图的空间维度的尺寸及预设的拆分规则，在空间维度上对所述第一特征图进行拆分，得到多个第一子特征图。在一种可能的实现方式中，对所述多个第一子特征图分别进行归一化处理，得到多个第二子特征图，包括：在通道维度上对每个第一子特征图进行分组，分别对所述第一子特征图的各组通道进行归一化处理，得到所述第一子特征图的第二子特征图。在一种可能的实现方式中，对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图，包括：根据所述多个第一子特征图在所述第一特征图中的位置，对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图。在一种可能的实现方式中，所述拆分规则包括特征图的待拆分维度、各待拆分维度的拆分位置、各待拆分维度的拆分数量、各待拆分维度的拆分尺寸、拆分后的子特征图的数量中的至少一种。在一种可能的实现方式中，所述方法还包括：对所述待处理图像的至少一个第二特征图进行尺度缩小及多尺度融合，得到编码后的多个特征图，所述编码后的多个特征图中各个特征图的尺度不同；对所述编码后的多个特征图进行尺度放大及多尺度融合，得到所述待处理图像的分类预测结果。在一种可能的实现方式中，对所述待处理图像的至少一个第二特征图进行尺度缩小及多尺度融合处理，得到编码后的多个特征图，包括：对m个第二特征图进行尺度缩小，得到尺度缩小后的m个特征图，m为正整数；对所述尺度缩小后的m个特征图进行特征融合，得到第m+1个特征图，所述尺度缩小后的m个特征图的尺度等于所述第m+1个特征图的尺度；对所述m个第二特征图及所述第m+1个特征图分别进行特征优化及融合，得到编码后的m+1个特征图。在一种可能的实现方式中，对所述编码后的多个特征图进行尺度放大及多尺度融合处理，得到所述待处理图像的分类预测结果，包括：对编码后的m+1个特征图进行融合及尺度放大，得到尺度放大后的m个特征图，m为正整数；对所述尺度放大后的m个特征图进行特征优化及融合，得到所述待处理图像的分类预测结果。在一种可能的实现方式中，所述方法通过神经网络实现，所述神经网络包括特征提取网络、编码网络及解码网络，所述特征提取网络用于对待处理图像进行特征提取，所述编码网络用于对所述待处理图像的至少一个第二特征图进行尺度缩小及多尺度融合，所述解码网络用于对所述编码后的多个特征图进行尺度放大及多尺度融合。在一种可能的实现方式中，所述方法还包括：根据预设的训练集，训练所述神经网络，所述训练集中包括已标注的多个样本图像。根据本公开的另一方面，提供了一种图像处理装置，包括：特征提取模块，用于对待处理图像进行特征提取，得到所述待处理图像的第一特征图；拆分模块，用于根据所述第一特征图的维度信息及预设的拆分规则，将所述第一特征图拆分为多个第一子特征图，所述第一特征图的维度信息包括所述第一特征图的维度以及各个维度的尺寸；归一化模块，用于对所述多个第一子特征图分别进行归一化处理，得到多个第二子特征图；拼接模块，用于对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图。在一种可能的实现方式中，所述拆分模块包括：拆分子模块，用于根据所述第一特征图的空间维度的尺寸及预设的拆分规则，在空间维度上对所述第一特征图进行拆分，得到多个第一子特征图。在一种可能的实现方式中，所述归一化模块包括：归一化子模块，用于在通道维度上对每个第一子特征图进行分组，分别对所述第一子特征图的各组通道进行归一化处理，得到所述第一子特征图的第二子特征图。在一种可能的实现方式中，所述拼接模块包括：拼接子模块，用于根据所述多个第一子特征图在所述第一特征图中的位置，对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图。在一种可能的实现方式中，所述拆分规则包括特征图的待拆分维度、各待拆分维度的拆分位置、各待拆分维度的拆分数量、各待拆分维度的拆分尺寸、拆分后的子特征图的数量中的至少一种。在一种可能的实现方式中，所述装置还包括：编码模块，用于对所述待处理图像的至少一个第二特征图进行尺度缩小及多尺度融合，得到编码后的多个特征图，所述编码后的多个特征图中各个特征图的尺度不同；解码模块，用于对所述编码后的多个特征图进行尺度放大及多尺度融合，得到所述待处理图像的分类预测结果。在一种可能的实现方式中，所述编码模块包括：缩小子模块，用于对m个第二特征图进行尺度缩小，得到尺度缩小后的m个特征图，m为正整数；第一融合子模块，用于对所述尺度缩小后的m个特征图进行特征融合，得到第m+1个特征图，所述尺度缩小后的m个特征图的尺度等于所述第m+1个特征图的尺度；第二融合子模块，用于对所述m个第二特征图及所述第m+1个特征图分别进行特征优化及融合，得到编码后的m+1个特征图。在一种可能的实现方式中，所述解码模块包括：放大子模块，用于对编码后的m+1个特征图进行融合及尺度放大，得到尺度放大后的m个特征图，m为正整数；第三融合子模块，用于对所述尺度放大后的m个特征图进行特征优化及融合，得到所述待处理图像的分类预测结果。在一种可能的实现方式中，所述装置通过神经网络实现，所述神经网络包括特征提取网络、编码网络及解码网络，所述特征提取网络用于对待处理图像进行特征提取，所述编码网络用于对所述待处理图像的至少一个第二特征图进行尺度缩小及多尺度融合，所述解码网络用于对所述编码后的多个特征图进行尺度放大及多尺度融合。在一种可能的实现方式中，所述装置还包括：训练模块，用于根据预设的训练集，训练所述神经网络，所述训练集中包括已标注的多个样本图像。根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。在本公开实施例中，能够对特征图进行拆分并分别进行归一化处理，得到归一化后的多个子特征图，并将归一化后的多个子特征图拼接为完整的特征图，从而保留局部特征信息，减小完整特征图归一化时的统计误差，提高所提取特征的有效性。应本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：对待处理图像进行特征提取，得到所述待处理图像的第一特征图；根据所述第一特征图的维度信息及预设的拆分规则，将所述第一特征图拆分为多个第一子特征图，所述第一特征图的维度信息包括所述第一特征图的维度以及各个维度的尺寸；对所述多个第一子特征图分别进行归一化处理，得到多个第二子特征图；对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对待处理图像进行特征提取，得到所述待处理图像的第一特征图；根据所述第一特征图的维度信息及预设的拆分规则，将所述第一特征图拆分为多个第一子特征图，所述第一特征图的维度信息包括所述第一特征图的维度以及各个维度的尺寸；对所述多个第一子特征图分别进行归一化处理，得到多个第二子特征图；对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图。2.根据权利要求1所述的方法，其特征在于，根据所述第一特征图的维度信息及预设的拆分规则，将所述第一特征图拆分为多个第一子特征图，包括：根据所述第一特征图的空间维度的尺寸及预设的拆分规则，在空间维度上对所述第一特征图进行拆分，得到多个第一子特征图。3.根据权利要求1或2所述的方法，其特征在于，对所述多个第一子特征图分别进行归一化处理，得到多个第二子特征图，包括：在通道维度上对每个第一子特征图进行分组，分别对所述第一子特征图的各组通道进行归一化处理，得到所述第一子特征图的第二子特征图。4.根据权利要求1-3中任意一项所述的方法，其特征在于，对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图，包括：根据所述多个第一子特征图在所述第一特征图中的位置，对所述多个第二子特征图进行拼接，得到所述待处理图像的第二特征图。5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述拆分规则包括特征图的待拆分维度、各待拆分维度的拆分位置、各待拆分维度的拆分数量、各待拆分维度的拆分尺寸、拆分后的子特征图的数量中的至少一种。6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：对所述待处...

【专利技术属性】
技术研发人员：杨昆霖，侯军，蔡晓聪，伊帅，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11