一种基于改进DeepLabV3+网络的机械零部件图像分割算法制造技术

本发明专利技术涉及一种基于改进DeepLabV3+网络的机械零部件图像分割算法。包括：首先，在主干网络中引入注意力机制来提升有效特征信息的重要性，增强对零部件目标的学习能力。其次，增加底层特征来源以充分利用特征融合分支进行自适应学习低级特征的空间信息，并且将原4倍上采样操作分解为逐层上采样，减少了重要像素信息的丢失。最后，使用不对称卷积来增强解码层中3

【技术实现步骤摘要】
一种基于改进DeepLabV3+网络的机械零部件图像分割算法


[0001]本专利技术涉及深度学习和计算机视觉
,具体的说是一种基于改进DeepLabV3+网络的机械零部件图像分割算法。

技术介绍

[0002]零件的识别分割作为工业机器人智能抓取视觉任务的重要组成部分，其分割结果将对抓取任务的顺利进行产生极大的影响。在对零部件识别分割的研究中，先是使用HOG算法、Canny边缘检测和Sobel算子等传统算法进行特征提取，但这些传统方法的零件特征识别精度主要取决于人工选择特征提取法的质量，且在多目标机械零部件图像中识别效果不佳；随着卷积神经网络算法被逐步提出，提取零部件图像区域的方法常为目标检测或语义分割，目标检测方法中常用R
‑
CNN，SS和YOLO系列等，但由于实际场景中零件种类繁多，目标检测方法难以提取目标轮廓和特定区域，但语义分割方法可以，常用方法为SegNet，U
‑
Net和DeepLab系列等，但在分割的过程中，由于部分零部件图像与背景相似，局部遮挡等问题，增加了分割难度。

技术实现思路

[0003]针对传统DeepLabV3+分割零部件图像时存在零件边缘分割模糊，不完全分割等问题，造成最终图像分割准确率低的问题，提出了一种基于改进DeepLabV3+网络的机械零部件图像分割算法，减少零部件图像分割结果中边界信息模糊，提高零部件分割算法的准确度，以适应目前工业化的零部件图像分割。实验结果显示本文的算法模型能够取得不错的分割效果，对零部件图像分割具有一定的参考意义。
[0004]本专利技术为实现上述目的所采用的技术方案是：一种基于改进DeepLabV3+网络的机械零部件图像分割算法，包括以下步骤：
[0005]步骤一：采集原始零部件图像；对零部件原始图像中出现的1个或多个零部件边界进行分割标注得到人工分割图像，将原始图像与人工分割图像共同建立零部件图像数据集；
[0006]步骤二：对零部件图像和人工分割图像分别进行数据增强处理扩充样本图像，再按比例随机划分为训练集、验证集和测试集；
[0007]步骤三：搭建改进DeepLabV3+的语义分割模型，包括编码层和解码层；编码层包括MobileNetV2和通道注意力模块、自适应空间特征融合模块ASFF、空间金字塔池模块ASPP、1
×
1卷积模块，用于将特征图尺寸缩小，提取信息进行零部件边界分割；解码层包括1
×
1卷积模块、上采样操作、非对称卷积模块，用于逐步恢复空间维度，输出同尺寸的边界分割结果图；
[0008]步骤四：设置网络训练参数，将训练集图片输入改进DeepLabV3+的语义分割网络进行训练，利用验证集进行验证，得到优化的网络模型；
[0009]步骤五：利用优化的DeepLabV3+语义分割模型对测试集中的零部件图像进行识别
预测，得到机械零部件分割结果图。
[0010]所述数据增强包括旋转、平移和添加噪声操作。
[0011]所述旋转包括水平翻转、垂直翻转、
±
60
°
、
±
90
°
、
±
210
°
、
±
240
°
的旋转；所述平移包括右移100像素、下移100像素；以及添加0.001,0.002,0.003的椒盐噪声；最后将增强后的数据集样本按8：1：1的比例随机划分为训练集、验证集和测试集。
[0012]所述MobileNetV2和通道注意力模块，将输入的样本图像进行处理，输出原图1/4大小的底层特征图、三个不同大小的特征层级图以及原图1/16大小的高层语义特征图；其中三个不同大小的特征层级图输入到ASFF模块后输出融合特征图至解码层；高层语义特征输入到ASPP结构中，并行经过1
×
1卷积，空洞率为6，12，18的空洞卷积继续提取特征以及全局平均池化后对特征图进行融合再输出至1
×
1卷积模块，得到的高层语义特征图进入解码层；
[0013]所述编码层输出的底层特征图经过1
×
1卷积后与ASFF融合特征图进行相加操作；然后与编码层获得的高层语义特征图进行逐层2倍双线性插值上采样后的特征图进行融合操作；之后对融合后的特征图采用非对称卷积，再经过逐层2倍上采样操作后输出最终的分割预测结果图。
[0014]所述ASFF模块进行处理的步骤包括：
[0015]以三个不同大小的特征层级图为输入，分别记为x1，x2，x3，通过3
×
3卷积进行下采样操作将特征层级x2和x3调整与x1的大小相同；
[0016]对尺寸调整后的特征层级图x1，x2，x3按照融合特征公式来自适应学习各空间权重信息，得到融合特征图y
l
；所述l级融合特征公式如下：
[0017][0018]其中，表示输出特征图y
l
的第(i,j)特征向量，表示不同的三个层级到l级的空间重要性权重，且该权重信息共享于所有通道，表示为m级调整到l级的特征映射上位置(i,j)处的特征向量。
[0019]所述逐层2倍双线性插值上采样替换原4倍上采样用于像素的连续性，减少重要像素信息的丢失。
[0020]所述非对称卷积模块包含3
×
3，1
×
3，3
×
1卷积，对于第j个卷积核，令F
(j)
，和分别表示3
×
3，1
×
3和3
×
1卷积核的输出结果，最终融合的结果可表示为：
[0021][0022]式中，σ
j
，分别对应3
×
3，1
×
3，3
×
1卷积的标准偏差值，γ
j
，和β
j
，分别是3
×
3，1
×
3，3
×
1卷积的缩放系数和偏移量，b
j
表示偏置，公式为：
[0023][0024]式中，μ
j
，是3
×
3，1
×
3，3
×
1卷积的批量归一化的通道平均值，故即可得到以下非对称卷积融合公式：
[0025][0026]式中，O
:,:,j
，分别表示原始含3
×
3，1
×
3和3
×
1三个分支的输出，*表示二维卷积算子，M
:,:,k
是M第k个通道上尺寸为U
×
V的特征图，表示融合后作用于第k个通道上的卷积核j，C表示通道数。
[0027]所述网络训练参数包括：训练次数epoch设为100，初始学习率设为0.007，学习策略采用“poly”，Batchsize设置为2，初始动量为0.9，使用交叉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进DeepLabV3+网络的机械零部件图像分割算法，其特征在于，包括以下步骤：步骤一：采集原始零部件图像；对零部件原始图像中出现的1个或多个零部件边界进行分割标注得到人工分割图像，将原始图像与人工分割图像共同建立零部件图像数据集；步骤二：对零部件图像和人工分割图像分别进行数据增强处理扩充样本图像，再按比例随机划分为训练集、验证集和测试集；步骤三：搭建改进DeepLabV3+的语义分割模型，包括编码层和解码层；编码层包括MobileNetV2和通道注意力模块、自适应空间特征融合模块ASFF、空间金字塔池模块ASPP、1
×
1卷积模块，用于将特征图尺寸缩小，提取信息进行零部件边界分割；解码层包括1
×
1卷积模块、上采样操作、非对称卷积模块，用于逐步恢复空间维度，输出同尺寸的边界分割结果图；步骤四：设置网络训练参数，将训练集图片输入改进DeepLabV3+的语义分割网络进行训练，利用验证集进行验证，得到优化的网络模型；步骤五：利用优化的DeepLabV3+语义分割模型对测试集中的零部件图像进行识别预测，得到机械零部件分割结果图。2.根据权利要求1所述的一种基于改进DeepLabV3+网络的机械零部件图像分割算法，其特征在于，所述数据增强包括旋转、平移和添加噪声操作。3.根据权利要求2所述的一种基于改进DeepLabV3+网络的机械零部件图像分割算法，其特征在于，所述旋转包括水平翻转、垂直翻转、
±
60
°
、
±
90
°
、
±
210
°
、
±
240
°
的旋转；所述平移包括右移100像素、下移100像素；以及添加0.001,0.002,0.003的椒盐噪声；最后将增强后的数据集样本按8：1：1的比例随机划分为训练集、验证集和测试集。4.根据权利要求1所述的一种基于改进DeepLabV3+网络的机械零部件图像分割算法，其特征在于，所述MobileNetV2和通道注意力模块，将输入的样本图像进行处理，输出原图1/4大小的底层特征图、三个不同大小的特征层级图以及原图1/16大小的高层语义特征图；其中三个不同大小的特征层级图输入到ASFF模块后输出融合特征图至解码层；高层语义特征输入到ASPP结构中，并行经过1
×
1卷积，空洞率为6，12，18的空洞卷积继续提取特征以及全局平均池化后对特征图进行融合再输出至1
×
1卷积模块，得到的高层语义特征图进入解码层；所述编码层输出的底层特征图经过1
×
1卷积后与ASFF融合特征图进行相加操作；然后与编码层获得的高层语义特征图进行逐层2倍双线性插值上采样后的特征图进行融合操作；之后对融合后的特征图采用...

【专利技术属性】
技术研发人员：付生鹏，侯维广，夏仁波，赵吉宾，孙海涛，张诚，
申请(专利权)人：沈阳智能机器人创新中心有限公司沈阳智能机器人国家研究院有限公司，
类型：发明
国别省市：