图像处理方法、存储介质、电子设备及图像处理装置制造方法及图纸

本申请涉及一种图像处理方法、存储介质、电子设备及图像处理装置。方法包括：将原始图像输入特征提取网络获得融合特征图，特征提取网络包括多个特征提取层分别用于提取不同层次的特征图，融合特征图通过对原始图像的不同层次的特征图进行特征融合得到；通过具有多个采样率的空洞卷积模型组合，对融合特征图按照多个采样率进行空洞卷积并行采样得到多尺度特征图，多尺度特征图指示按照多个比例捕捉的融合特征图的上下文，多个比例与多个采样率一一对应；通过ROI校准模块，根据多个候选ROI对多尺度特征图进行划分得到多个候选图；对多个候选图分别进行语义分割得到原始图像的语义分割结果。如此实现了精确识别并标注废钢的内容和位置。容和位置。容和位置。

【技术实现步骤摘要】
图像处理方法、存储介质、电子设备及图像处理装置


[0001]本申请涉及计算机视觉
，具体涉及一种图像处理方法、存储介质、电子设备及图像处理装置。

技术介绍

[0002]随着人工智能技术的发展，深度学习技术在计算机视觉
取得了重大发展，并且在图像分类、图像目标检测以及图像分割等方面取得了重大突破。其中，基于计算机视觉技术的人脸识别产品已经广泛应用于出入境口岸、火车站和机场大厅等场所，通过从采集的图像中提取人脸特征并进行比对和搜索来达到身份检判的目的。在工业应用领域，例如物流中心的货物自动分拣和港口自动化等，可以借助人工智能技术和基于计算机视觉技术的产品来实现对目标货物的智能化自动检判并根据检判结果采取相应的搬运、分拣、打包等操作。另外，在废钢回收利用环节中，也需要对来源复杂、种类繁多、材质差异大的各种废弃钢材进行定级并采取相应操作，因此也可以借助人工智能技术和基于计算机视觉技术的产品来实现对废弃钢材的智能化自动检判。以上提及的对目标货物或废弃钢材的智能化自动检判，相比于传统的人工测量和人工检判，具有检判标准客观稳定、信息化程度高、降低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：将原始图像输入特征提取网络从而获得融合特征图，所述特征提取网络包括多个特征提取层分别用于提取不同层次的特征图，所述融合特征图通过对所述原始图像的不同层次的特征图进行特征融合得到；通过具有多个采样率的空洞卷积模型组合，对所述融合特征图按照所述多个采样率进行空洞卷积并行采样，得到多尺度特征图，所述多尺度特征图指示按照多个比例捕捉的所述融合特征图的上下文，所述多个比例与所述多个采样率一一对应；通过兴趣区域ROI校准模块，根据多个候选ROI对所述多尺度特征图进行划分得到多个候选图，所述多个候选图与所述多个候选ROI一一对应，所述多个候选ROI基于所述融合特征图；对所述多个候选图分别进行语义分割，得到所述原始图像的语义分割结果。2.根据权利要求1所述的图像处理方法，其特征在于，所述特征提取网络包括特征金字塔网络FPN，所述FPN通过对从低层次语义特征图到高层次语义特征图的不同层次的特征图进行特征融合得到所述融合特征图。3.根据权利要求2所述的图像处理方法，其特征在于，所述特征提取网络还包括主干网络分支用于提取所述原始图像的高层次语义特征，所述主干网络分支的输出结果作为所述FPN的输入。4.根据权利要求1所述的图像处理方法，其特征在于，所述多个候选ROI基于所述融合特征图，包括：将所述融合特征图或者所述多尺度特征图输入区域候选网络得到所述多个候选ROI。5.根据权利要求1所述的图像处理方法，其特征在于，对所述多个候选图分别进行语义分割，得到所述原始图像的语义分割结果，包括：将所述多个候选图输入全连接FC网络进行语义分割操作从而得到所述原始图像的语义分割结果。6.根据权利要求5所述的图像处理方法，其特征在于，所述将所述多个候选ROI输入所述FC网络进行语义分割操作包括：分类操作、回归操作和掩模生成操作。7.根据权利要求6所述的图像处理方法，其特征在于，所述FC网络的掩模生成操作用于生成所述原始图像的多个掩模，所述多个掩模各自对应所述原始图像中不同类型的物件。8.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述多个采样率的上限与所述多个特征提取层的个数相关联并且一起被调整。9.根据权利要求8所述的图像处理方法，其特征在于，所述特征提取网络所包括的所述多个特征提取层的个数配置为可被增加以增加所述融合特征图所包括的关于所述原始图像的语义信息，所述多个采样率的上限配置为可被增加以增加所述融合特征图的上下文被捕捉的比例。10.根据权利要求8所述的图像处理方法，其特征在于，所述图像处理方法还包括：根据所述图像处理方法的应用场景确定所述多个采样率的上限和所述多个特征提取层的个数之间优先级较高的一方，并提高优先级较高的一方同时降低优先级较低的一方。11.根据权利要求10所述的图像处理方法，其特征在于，当所述图像处理方法的应用场景是用于识别所述原始图像中的小型物件的应用场景，所述多个采样率的上限具有较高优
先级，所述多个特征提取层的个数具有较低优先级。12.根据权利要求10所述的图像处理方法，其特征在于，当所述图像处理方法的应用场景是用于识别所述原始图像中的相似物件的应用场景，所述多个采样率的上限具有较低优先级，所述多个特征提取层的个数具有较高优先级。13.根据权利要求10所述的图像处理方法，其特征在于，当所述图像处理方法的应用场景是第一应用场景，所述多个采样率的上限是24，所述多个特征提取层的个数是10；当所述图像处理方法的应用场景是第二应用场景，所述多个采样率的上限是12，所述多个特征提取层的个数是16，其中，所述第一应用场景中的待识别物件的尺寸的中位数小于所述第二应用场景中的待识别物体的尺寸的中位数。14.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述空洞卷积模型组合的空洞卷积核尺寸与所述特征提取网络的卷积层尺寸相匹配。15.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述原始图像经过数据增强操作，所述数据增强操作包括以下至少之一：随机翻转、旋转、翻转及旋转、随机变换、随机缩放、随机裁剪、模糊化、高斯噪声添加、填充。16.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述图像处理方法用于废钢料件集合搬运过程...

【专利技术属性】
技术研发人员：孙军欢，王仁伟，冀旭，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：