一种基于深度学习目标分割的工业零件增量识别方法技术

本发明专利技术公开了一种基于深度学习目标分割的工业零件增量识别方法，涉及图像处理技术领域，该方法包括：确定识别的零件型号，筛选出相应的标准零件信息存储在模板使用列表中；采集待识别零件图像送入深度实例分割模型中，得到单个待识别零件轮廓图；根据轮廓图计算零件尺寸信息，并与表中的各个标准零件尺寸信息进行对比筛选，将不符合预定条件的标准零件信息从表中删除；将轮廓图与表中的标准零件模板图进行仿射变化，逐个对比计算轮廓重叠度、相似度和内孔个数并建立评分方程，将更新后的模板使用列表中评分大于设定阈值且为最大值的标准零件信息记录的标准零件型号作为待识别零件的型号，能有效解决工业零件增量识别问题中模型反复训练的问题。型反复训练的问题。型反复训练的问题。

【技术实现步骤摘要】
一种基于深度学习目标分割的工业零件增量识别方法


[0001]本专利技术涉及图像处理
，尤其是一种基于深度学习目标分割的工业零件增量识别方法。

技术介绍

[0002]工业零件分拣一直是工业生产应用的重要组成部分，也是衡量工业自动化水平的标志之一。伴随着现代科技的发展，机器设备与视觉系统组合成的智能分拣系统也在逐渐替代人工，成为工厂向数字化和智能化转型的一项重要指标。与此同时，智能设备如何能够像人工一样，满足复杂多样的工业场景，一直成为企业界和学术界共同关注并研究的话题。
[0003]目前，工业领域应用的视觉系统主要包括传统机器视觉和深度学习视觉这两种类型。在传统机器视觉的识别任务中，目标特征主要依赖于人工设计的提取器，需要有一定的专业知识与技能，且调参过程较为复杂，模型的泛化能力和鲁棒性较差。随着硬件算力和深度学习技术的发展，基于深度卷积神经网络的机器视觉技术在检测精度和实时性方面已经远远超过了传统的机器视觉识别方法。
[0004]与此同时，如果工业场景中零件分拣的种类固定，那么采用传统机器视觉和深度学习视觉都能在不同程度上代替人工而实现分拣的效果。然而，如果所需识别的零件种类是不断变化且逐步更新的，那么无论是传统机器视觉还是深度学习视觉都需要反复地调整参数以重新训练模型，这样就大大增加了视觉识别系统的开发周期和成本，也会导致系统后期的维护和升级变得频繁与不易。

技术实现思路

[0005]本专利技术人针对上述问题及技术需求，提出了一种基于深度学习目标分割的工业零件增量识别方法，基于深度实例分割模型结合轮廓特征对比，能有效解决工业零件的增量识别问题，从而减少人工经验的依赖。
[0006]本专利技术的技术方案如下：
[0007]一种基于深度学习目标分割的工业零件增量识别方法，包括如下步骤：
[0008]确定当前批次所需识别的零件型号，若根据零件型号能从标准零件模板库中筛选出相应的标准零件信息，则将筛选出的所有标准零件信息存储在模板使用列表中；否则，获取待识别零件的标准零件信息并存储于标准零件模板库中，再执行根据零件型号从标准零件模板库中筛选出相应的标准零件信息；其中，标准零件模板库中存储有各个标准零件的型号、模板图以及零件尺寸信息，作为标准零件信息；
[0009]采集待识别零件图像，并送入深度实例分割模型中进行目标检测分割，得到单个待识别零件轮廓图；
[0010]根据待识别零件轮廓图计算待识别零件的尺寸信息，并与模板使用列表中的各个标准零件尺寸信息进行对比筛选，将不符合预定条件的标准零件信息从模板使用列表中删除；
[0011]将待识别零件轮廓图与更新后的模板使用列表中的标准零件模板图进行仿射变化，并逐个对比计算轮廓重叠度、轮廓相似度和内孔个数；
[0012]根据轮廓重叠度、轮廓相似度和内孔个数建立评分方程，将更新后的模板使用列表中评分大于设定阈值且为最大值的标准零件信息记录的标准零件型号作为待识别零件的型号。
[0013]其进一步的技术方案为，深度实例分割模型为二分类模型，分类结果包括图像中的零件表面轮廓和零件表面内孔，该模型是通过引入自校正卷积模块改进Mask R
‑
CNN主干网络实现的，自校正卷积模块的操作方式包括：
[0014]将主干网络的输入特征图的通道均分得到第一特征图和第二特征图，将第一特征图输入至自校正卷积模块得到自校正变换特征图，第二特征图进行卷积操作后与自校正变换特征图进行特征图通道合并，得到改进后的特征图。
[0015]其进一步的技术方案为，将第一特征图输入至自校正卷积模块得到自校正变换特征图，包括：
[0016]第一特征图依次进行均值池化下采样、第一卷积操作、双线性插值上采样变换，并将变换结果与第一特征图相加，得到空间层面的注意力特征图，并对注意力特征图进行Sigmoid函数变换，变换过程如下：
[0017][0018]其中，Up()表示双线性插值上采样变换，C
B1
()表示第一卷积操作，AugPool()表示均值池化下采样变换，σ()表示Sigmoid函数变换，X1为第一特征图，T1为注意力特征图，Y1′
为自校正卷积模块第一分支的变换结果；
[0019]第一特征图还进行第二卷积操作，并与第一分支的变换结果进行向量元素积运算后，再进行第三卷积操作，得到自校正变换特征图，变换过程如下：
[0020]Y1＝C
B3
(Y1′
·
Y1″
)＝C
B3
(Y1′
·
C
B2
(X1))；
[0021]其中，C
B2
()表示第二卷积操作，C
B3
()表示第三卷积操作，Y1″
为自校正卷积模块第二分支的变换结果，Y1为自校正卷积模块输出的自校正变换特征图。
[0022]其进一步的技术方案为，待识别零件的尺寸信息与模板使用列表中的各个标准零件尺寸信息进行对比筛选，将不符合预定条件的标准零件信息从模板使用列表中删除，包括：
[0023]计算得到的待识别零件的尺寸信息包括待识别零件的长宽信息，根据待识别零件的长宽信息将深度实例分割模型输出的小尺寸的待识别零件轮廓图滤除；
[0024]根据待识别零件的长度信息选定第一阈值和第二阈值；
[0025]遍历模板使用列表中的各个标准零件尺寸信息，计算标准零件与待识别零件的长度差和宽度差，筛选出长度差和宽度差均小于第一阈值的标准零件尺寸信息，并计算相应的长度差和宽度差的总和；
[0026]从筛选得到的标准零件尺寸信息对应的总和中选取出最小值，并计算各项总和与最小值的差值，将差值大于第二阈值的标准零件尺寸信息从模板使用列表中删除，实现模板使用列表的更新。
[0027]其进一步的技术方案为，将待识别零件轮廓图与更新后的模板使用列表中的标准
零件模板图进行仿射变化，包括，对于每一个标准零件模板图：
[0028]将待识别零件轮廓图映射到标准零件模板图的像素大小，分别计算映射后的待识别零件轮廓图和标准零件模板图的最小外接矩形；
[0029]根据最小外接矩形的长边与水平界面的夹角度数进行仿射变化，生成仿射变化轮廓图与仿射变化模板图，图中为水平或竖直方向的最小外接矩形；
[0030]根据仿射变化轮廓图与仿射变化模板图的尺寸大小，确定仿射对比图的尺寸大小；
[0031]将仿射变化轮廓图和仿射变化模板图分别映射到背景为黑色的仿射对比图中，形成待识别零件轮廓对比图和标准零件模板对比图。
[0032]其进一步的技术方案为，根据仿射变化轮廓图与仿射变化模板图的尺寸大小，确定仿射对比图的尺寸大小的计算过程如下：
[0033][0034]其中，S
width
、S
height
表示仿射对比图的高宽信息，round()表示取整，w1、h1表示仿射变化轮廓图的宽高信息，w2、h2表示仿射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习目标分割的工业零件增量识别方法，其特征在于，所述方法包括：确定当前批次所需识别的零件型号，若根据所述零件型号能从标准零件模板库中筛选出相应的标准零件信息，则将筛选出的所有标准零件信息存储在模板使用列表中；否则，获取待识别零件的标准零件信息并存储于所述标准零件模板库中，再执行根据所述零件型号从标准零件模板库中筛选出相应的标准零件信息；其中，所述标准零件模板库中存储有各个标准零件的型号、模板图以及零件尺寸信息，作为所述标准零件信息；采集待识别零件图像，并送入深度实例分割模型中进行目标检测分割，得到单个待识别零件轮廓图；根据所述待识别零件轮廓图计算待识别零件的尺寸信息，并与所述模板使用列表中的各个标准零件尺寸信息进行对比筛选，将不符合预定条件的标准零件信息从所述模板使用列表中删除；将所述待识别零件轮廓图与更新后的所述模板使用列表中的标准零件模板图进行仿射变化，并逐个对比计算轮廓重叠度、轮廓相似度和内孔个数；根据所述轮廓重叠度、轮廓相似度和内孔个数建立评分方程，将所述更新后的模板使用列表中评分大于设定阈值且为最大值的标准零件信息记录的标准零件型号作为所述待识别零件的型号。2.根据权利要求1所述的基于深度学习目标分割的工业零件增量识别方法，其特征在于，所述深度实例分割模型为二分类模型，分类结果包括图像中的零件表面轮廓和零件表面内孔，该模型是通过引入自校正卷积模块改进Mask R
‑
CNN主干网络实现的，所述自校正卷积模块的操作方式包括：将主干网络的输入特征图的通道均分得到第一特征图和第二特征图，将所述第一特征图输入至所述自校正卷积模块得到自校正变换特征图，所述第二特征图进行卷积操作后与所述自校正变换特征图进行特征图通道合并，得到改进后的特征图。3.根据权利要求2所述的基于深度学习目标分割的工业零件增量识别方法，其特征在于，所述将所述第一特征图输入至所述自校正卷积模块得到自校正变换特征图，包括：所述第一特征图依次进行均值池化下采样、第一卷积操作、双线性插值上采样变换，并将变换结果与所述第一特征图相加，得到空间层面的注意力特征图，并对所述注意力特征图进行Sigmoid函数变换，变换过程如下：其中，Up()表示双线性插值上采样变换，C
B1
()表示第一卷积操作，AugPool()表示均值池化下采样变换，σ()表示Sigmoid函数变换，X1为所述第一特征图，T1为所述注意力特征图，Y
′1为自校正卷积模块第一分支的变换结果；所述第一特征图还进行第二卷积操作，并与第一分支的变换结果进行向量元素积运算后，再进行第三卷积操作，得到自校正变换特征图，变换过程如下：Y1＝C
B3
(Y
′1·
Y
″1)＝C
B3
(Y
′1·
C
B2
(X1))；其中，C
B2
()表示第二卷积操作，C
B3
()表示第三卷积操作，Y
″1为自校正卷积模块第二分支的变换结果，Y1为所述自校正卷积模块输出的自校正变换特征图。4.根据权利要求1所述的基于深度学习目标分割的工业零件增量识别方法，其特征在
于，所述待识别零件的尺寸信息与所述模板使用列表中的各个标准零件尺寸信息进行对比筛选，将不符合预定条件的标准零件信息从所述模板使用列表中删除，包括：计算得到的待识别零件的尺寸信息包括待识别零件的长宽信息，根据所述待识别零件的长宽信息将所述深度实例分割模型输出的小尺寸的待识别零件轮廓图滤除；根据所述待识别零件的长度信息选定第一阈值和第二阈值；遍历所述模板使用列表中的各个标准零件尺寸信息，计算标准零件与待识别零件的长度差和宽度差，筛选出所述长度差和宽度差均小于所述第一阈值的标准零件尺寸信息，并计算相应的所述长度差和宽度差的总和；从筛选得到的标准零件尺寸信息对应的总和中选取出最小值，并计算各项总和与所述最小值的差值，将差值大于所述第二阈值的标准零件尺寸信息从所述模板使用列表中删除，实现所述模板使用列表的更新。5.根据权利要求1所述的基于深度学习目标分割的工业零件增量识别方法，其特征在于，所述将所述待识别零件轮廓图与更新后的所述模板使用列表中的标准零件模板图进行仿射变化，包括，对于每一...

【专利技术属性】
技术研发人员：顾毅，张校源，李书霞，辛伟，张琼，
申请(专利权)人：无锡雪浪数制科技有限公司，
类型：发明
国别省市：