图像处理方法、存储介质、电子设备及图像处理装置制造方法及图纸

本申请涉及一种图像处理方法、存储介质、电子设备及图像处理装置。方法包括：将原始图像输入特征提取网络得到第一特征图；先将所述第一特征图输入多孔空间金字塔池化ASPP模型进行多个采样率下的空洞卷积并行采样得到多尺度特征图，然后将所述多尺度特征图输入深层特征提取模块进行深层特征提取得到深层特征图，以及将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图；将所述深层特征图和所述浅层特征图输入拼接模块进行拼接操作得到第二特征图；对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。如此统一地提升各种可能的特征提取网络的检测效果。测效果。测效果。

【技术实现步骤摘要】
图像处理方法、存储介质、电子设备及图像处理装置


[0001]本申请涉及计算机视觉
，具体涉及一种图像处理方法、存储介质、电子设备及图像处理装置。

技术介绍

[0002]随着人工智能技术的发展，深度学习技术在计算机视觉
取得了重大发展，并且在图像分类、图像目标检测以及图像分割等方面取得了重大突破。其中，基于计算机视觉技术的人脸识别产品已经广泛应用于出入境口岸、火车站和机场大厅等场所，通过从采集的图像中提取人脸特征并进行比对和搜索来达到身份检判的目的。在工业应用领域，例如物流中心的货物自动分拣和港口自动化等，可以借助人工智能技术和基于计算机视觉技术的产品来实现对目标货物的智能化自动检判并根据检判结果采取相应的搬运、分拣、打包等操作。另外，在废钢回收利用环节中，也需要对来源复杂、种类繁多、材质差异大的各种废弃钢材进行定级并采取相应操作，因此也可以借助人工智能技术和基于计算机视觉技术的产品来实现对废弃钢材的智能化自动检判。以上提及的对目标货物或废弃钢材的智能化自动检判，相比于传统的人工测量和人工检判，具有检判标准客观稳定、信息化程度高、降低了安全隐患和人力成本等有益效果，有利于提高生产效率和作业安全性。
[0003]在工业应用领域如上面提到的对货物或者废弃钢材进行自动检判，往往面对装载货物或废弃钢材的载具如车辆的车厢区域难以识别，货物或废弃钢材的每个个体难以识别等难题，特别是不同个体之间的遮挡以及相似的颜色形状等都会给精确识别带来挑战。
[0004]为此，需要一种图像处理方法、存储介质、电子设备及图像处理装置，能应用于上述的对货物或者废弃钢材进行自动检判等工业应用领域并且能够实现精确识别如载具、货物、废弃钢材个体等目标的内容及位置。

技术实现思路

[0005]第一方面，本申请实施例提供了一种图像处理方法，所述图像处理方法包括：将原始图像输入特征提取网络得到第一特征图；先将所述第一特征图输入多孔空间金字塔池化ASPP模型进行多个采样率下的空洞卷积并行采样得到多尺度特征图，然后将所述多尺度特征图输入深层特征提取模块进行深层特征提取得到深层特征图，以及将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图；将所述深层特征图和所述浅层特征图输入拼接模块进行拼接操作得到第二特征图；对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。
[0006]第一方面所描述的技术方案，在降低边缘误差、改进边缘识别和轮廓识别等方面有更佳的表现，并且降低了特征提取网络所具体使用的网络模型、网络结构和模型参数对最终检测效果带来的影响，可以统一地提升各种可能的特征提取网络的检测效果特别是有效地应对存在大量小尺寸物件或者较大边缘误差的情况。
[0007]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述
ASPP模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征。
[0008]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于识别目标的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述识别目标的边界信息。
[0009]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述低层次语义特征提取通道是与所述ASPP模型相关联的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述ASPP模型所输出的所述多尺度特征图中的边界信息。
[0010]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述边界信息恢复模型还用于提高所述第二特征图的关于识别目标的边界的特征的分辨率。
[0011]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述深层特征提取模块根据第一特征提取要求进行深层特征提取，所述浅层特征提取模块根据第二特征提取要求进行浅层特征提取，所述第一特征提取要求针对高层次语义特征，所述第二特征提取要求针对低层次语义特征。
[0012]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述ASPP模型的所述多个采样率中至少一个采样率可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
[0013]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述特征提取网络和所述ASPP模型用于保存权重和梯度的数据格式的精度可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
[0014]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述ASPP模型的所述多个采样率与所述特征提取网络的网络模型参数相关联并且一起被调整，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。
[0015]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述原始图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。
[0016]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像处理方法用于废钢料件集合搬运过程中的料件检测，所述原始图像的语义分割结果包括所述原始图像的废钢料件集合的语义分割识别结果，所述原始图像的废钢料件集合的语义分割识别结果用于确定所述原始图像的废钢料件集合的至少一种关联信息，所述原始图像的废钢料件集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。
[0017]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述图像处理方法用于车厢区域检测，所述原始图像的语义分割结果包括所述原始图像的车厢区域轮廓的语义分割识别结果。
[0018]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述
ASPP模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的边界信息。
[0019]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述低层次语义特征提取通道是相对于所述ASPP模型的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述ASPP模型所输出的所述多尺度特征图中的关于所述车厢区域轮廓的边界信息。
[0020]根据第一方面的技术方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：将原始图像输入特征提取网络得到第一特征图；先将所述第一特征图输入多孔空间金字塔池化ASPP模型进行多个采样率下的空洞卷积并行采样得到多尺度特征图，然后将所述多尺度特征图输入深层特征提取模块进行深层特征提取得到深层特征图，以及将所述第一特征图输入浅层特征提取模块进行浅层特征提取得到浅层特征图；将所述深层特征图和所述浅层特征图输入拼接模块进行拼接操作得到第二特征图；对所述第二特征图进行语义分割得到所述原始图像的语义分割结果。2.根据权利要求1所述的图像处理方法，其特征在于，所述ASPP模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征。3.根据权利要求2所述的图像处理方法，其特征在于，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于识别目标的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述识别目标的边界信息。4.根据权利要求2所述的图像处理方法，其特征在于，所述低层次语义特征提取通道是与所述ASPP模型相关联的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述ASPP模型所输出的所述多尺度特征图中的边界信息。5.根据权利要求4所述的图像处理方法，其特征在于，所述边界信息恢复模型还用于提高所述第二特征图的关于识别目标的边界的特征的分辨率。6.根据权利要求1所述的图像处理方法，其特征在于，所述深层特征提取模块根据第一特征提取要求进行深层特征提取，所述浅层特征提取模块根据第二特征提取要求进行浅层特征提取，所述第一特征提取要求针对高层次语义特征，所述第二特征提取要求针对低层次语义特征。7.根据权利要求1所述的图像处理方法，其特征在于，所述ASPP模型的所述多个采样率中至少一个采样率可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。8.根据权利要求7所述的图像处理方法，其特征在于，所述特征提取网络和所述ASPP模型用于保存权重和梯度的数据格式的精度可被增加，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。9.根据权利要求1所述的图像处理方法，其特征在于，所述ASPP模型的所述多个采样率与所述特征提取网络的网络模型参数相关联并且一起被调整，以提高所述第二特征图的关于识别目标的边界的特征的分辨率。10.根据权利要求1至9中任一项所述的图像处理方法，其特征在于，所述原始图像经过数据增强操作 ，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。11.根据权利要求1至9中任一项所述的图像处理方法，其特征在于，所述图像处理方法用于废钢料件集合搬运过程中的料件检测，所述原始图像的语义分割结果包括所述原始图像的废钢料件集合的语义分割识别结果，所述原始图像的废钢料件集合的语义分割识别结
果用于确定所述原始图像的废钢料件集合的至少一种关联信息，所述原始图像的废钢料件集合的至少一种关联信息包括以下至少一种：轮廓信息、种类信息、来源信息、坐标信息、面积信息、像素特征信息。12.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法用于车厢区域检测，所述原始图像的语义分割结果包括所述原始图像的车厢区域轮廓的语义分割识别结果。13.根据权利要求12所述的图像处理方法，其特征在于，所述ASPP模型和所述深层特征提取模块一起作为高层次语义特征提取通道并用于获取所述第一特征图的高层次语义特征，所述浅层特征提取模块作为低层次语义特征提取通道并用于获取所述第一特征图的低层次语义特征，所述第一特征图的高层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的语义信息，所述第一特征图的低层次语义特征用于增强所述原始图像的语义分割结果中关于所述车厢区域轮廓的边界信息。14.根据权利要求13所述的图像处理方法，其特征在于，所述低层次语义特征提取通道是相对于所述ASPP模型的边界信息恢复模型，所述边界信息恢复模型用于恢复位于所述第一特征图中但是不位于所述ASPP模型所输出的所述多尺度特征图中的关于所述车厢区域轮廓的边界信息。15.根据权利要求14所述的图像处理方法，其特征在于，所述ASPP模型的所述多个采样率中至少一个采样率可被增加，以提高所述第二特征图的关于所述车厢区域轮廓的特征的分辨率。16.根据权利要求12至15中任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：通过车厢轮廓搜索模块，根据所述原始图像的车厢区域轮廓的语...

【专利技术属性】
技术研发人员：张文俊，孙军欢，冀旭，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：