一种基于MaskRCNN的螺母表面缺陷分割方法技术

本发明专利技术公开了一种基于MaskRCNN的螺母表面缺陷分割方法，包括步骤一：采集训练样本，制作数据集；使用数据集训练MaskRCNN模型，将MaskRCNN模型训练收敛；步骤二：采集目标图像，对目标图像进行裁剪起直接使用原图调整大小，最大程度上保证了图像的清晰度；步骤三：修改ResNet50结构，在ResNet50的Res4和Res5模块中加入了可形变卷积，使用DCN代替普通的卷积模块，增强模型的几何变换建模的能力，在一定程度上减少了漏报和误报；步骤四：利用先验知识对RPN网络的候选框大小及长宽比进行优化，使其更适合螺母缺陷检测，进一步减少漏报，提高检测精度；步骤五：调整图像大小，利用K

【技术实现步骤摘要】
一种基于MaskRCNN的螺母表面缺陷分割方法


[0001]本专利技术涉及到螺母表面缺陷分割的
，特别涉一种基于MaskRCNN的螺母表面缺陷分割方法。

技术介绍

[0002]随着科技的发展，工业生产的自动化水平也日益提升。在螺母生产中，提高生产效率的同时，如何提高检测效率成了亟待解决的问题。当前，大部分工厂都采用人工检测的方式进行质检，这样的检测方式受工作人员经验、工作状态等因素的影响，缺乏客观性且工作量大，检测效率低下。传统视觉检测方法用于螺母缺陷检测算法通常准确率较低，泛化能力较差难以适应工厂环境。因此，基于MaskRCNN的螺母缺陷分割技术有着重要的现实意义。
[0003]目前，大部分工厂都采用人工检测的方式对螺母表面缺陷进行检测，效率较低。而基于传统视觉的螺母表面缺陷检测算法，易受外界环境等因素的干扰，准确率较低且泛化能力较差。

技术实现思路

[0004]本专利技术公开了一种基于MaskRCNN的螺母表面缺陷分割方法，MaskRCNN包括卷积神经网络、RPN（Region Proposal Networks，候选区域网络）、分割层和检测层。本专利技术所使用的卷积神经网络基础模型为ResNet
‑
50。
[0005]为实现上述目的，本专利技术采取的技术方案为：一种基于MaskRCNN的螺母表面缺陷分割方法，包括以下步骤：步骤一：采集训练样本，制作数据集；使用数据集训练MaskRCNN模型，将MaskRCNN模型训练收敛；步骤二：采集目标图像，对目标图像进行裁剪；步骤三：修改ResNet50结构，在ResNet50的Res4和Res5模块中加入了可形变卷积，在原有的卷积单元中增加了x和y方向偏移量的学习，对卷积核的大小及位置进行动态调整。
[0006]步骤四：调整RPN候选框大小及长宽比；步骤五：调整图像大小，利用K
‑
Means聚类法，对数据集中目标框的大小进行聚类，划分出合适的候选框大小以及长宽比例；步骤六：调整裁剪好的图像的大小，输入MaskRCNN模型，对螺母的表面缺陷进行判别并输出推理结果到上位机显现。
[0007]进一步的，所述步骤二中对目标图像进行裁剪采用OTSU法分割出图像的前景与背景，接着进行连通域分析找到面积最大的连通域即螺母区域，再以该区域为中心将图像裁剪为目标大小进行输入。
[0008]进一步的，所述步骤三中可形变卷积的输入为经过标准卷积后的特征层，然后在该特征层上进行卷积操作，生成N个2维的偏置量(
△
x,
△
y)，分别对输入特征层上各个点的
值进行修正，设feature map为P，即P(x,y)=P(x+
△
x,y+
△
y)，当x+
△
x为分数时，使用双线性插值计算P(x+
△
x,y+
△
y)，形成N个特征层，然后使用N个卷积核一一对应进行卷积得到输出。
[0009]进一步的，所述步骤五中的候选框大小为322、642、1282，候选框的长宽比为1:1、1:3以及 3:1。
[0010]进一步的，所述步骤一中的数据集包括若干样本图像和每个样本图像所对应的标注信息，其中标注信息包含图像中检测目标的类别、分割掩码和框选位置，框选位置表示为x、y、w、h ， x是目标框的横坐标，y是目标框的纵坐标，w是目标框的宽度，h是目标框的长度，分割掩码则是该目标框中实际检测对象的轮廓。
[0011]与现有技术相比，本专利技术具有如下有益效果：1.在处理样本图像时，首先通过传统图像算法裁剪出前景区域，再对裁剪出的前景图像进行大小调整，比起直接使用原图调整大小，最大程度上保证了图像的清晰度。
[0012]2.修改ResNet50的Res4和Res5的网络结构，使用DCN代替普通的卷积模块，增强模型的几何变换建模的能力，在一定程度上减少了漏报和误报。
[0013]3.利用先验知识对RPN网络的候选框大小及长宽比进行优化，使其更适合螺母缺陷检测，进一步减少漏报，提高检测精度。
附图说明
[0014]为了更清楚地说明本专利技术的技术方案，下面将对本专利技术技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本专利技术一种基于MaskRCNN的螺母表面缺陷分割方法的DCN结构示意图。
[0016]图2为本专利技术一种基于MaskRCNN的螺母表面缺陷分割方法的图像进行缺陷检测步骤示意图。
具体实施方式
[0017]下面结合具体实施方式对本专利技术作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本专利技术的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本专利技术中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本专利技术保护的范围。
[0018]实施例1一种基于MaskRCNN的螺母表面缺陷分割方法，包括以下步骤：步骤一：采集训练样本，制作数据集；使用数据集训练MaskRCNN模型，将MaskRCNN模型训练收敛；步骤二：采集目标图像，对目标图像进行裁剪；步骤三：修改ResNet50结构，在ResNet50的Res4和Res5模块中加入了可形变卷积，
在原有的卷积单元中增加了x和y方向偏移量的学习，对卷积核的大小及位置进行动态调整。
[0019]步骤四：调整RPN候选框大小及长宽比；步骤五：调整图像大小，利用K
‑
Means聚类法，对数据集中目标框的大小进行聚类，划分出合适的候选框大小以及长宽比例；步骤六：调整裁剪好的图像的大小，输入MaskRCNN模型，对螺母的表面缺陷进行判别并输出推理结果到上位机显现。
[0020]具体的，所述步骤一中的数据集包括若干样本图像和每个样本图像所对应的标注信息，其中标注信息包含图像中检测目标的类别、分割掩码和框选位置，框选位置表示为x、y、w、h ， x是目标框的横坐标，y是目标框的纵坐标，w是目标框的宽度，h是目标框的长度，分割掩码则是该目标框中实际检测对象的轮廓。
[0021]通过先采集训练样本，制作数据集，使用数据集训练MaskRCNN模型，将模型训练收敛后，便于后期进行螺母表面缺陷检测。
[0022]实施例2一种基于MaskRCNN的螺母表面缺陷分割方法，包括以下步骤：步骤一：采集训练样本，制作数据集；使用数据集训练MaskRCNN模型，将MaskRCNN模型训练收敛；步骤二：采集目标图像，对目标图像进行裁剪；步骤三：修改ResNet50结构，在ResNet50的Res4和Res5模块中加入了可形变卷积，在原有的卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MaskRCNN的螺母表面缺陷分割方法，其特征在于：包括以下步骤：步骤一：采集训练样本，制作数据集；使用数据集训练MaskRCNN模型，将MaskRCNN模型训练收敛；步骤二：采集目标图像，对目标图像进行裁剪；步骤三：修改ResNet50结构，在ResNet50的Res4和Res5模块中加入了可形变卷积，在原有的卷积单元中增加了x和y方向偏移量的学习，对卷积核的大小及位置进行动态调整；步骤四：调整RPN候选框大小及长宽比；步骤五：调整图像大小，利用K
‑
Means聚类法，对数据集中目标框的大小进行聚类，划分出合适的候选框大小以及长宽比例；步骤六：调整裁剪好的图像的大小，输入MaskRCNN模型，对螺母的表面缺陷进行判别并输出推理结果到上位机显现。2.根据权利要求1所述一种基于MaskRCNN的螺母表面缺陷分割方法，其特征在于：所述步骤二中对目标图像进行裁剪采用OTSU法分割出图像的前景与背景，接着进行连通域分析找到面积最大的连通域即螺母区域，再以该区域为中心将图像裁剪为目标大小进行输入。3.根据权利要求1所述一种基于MaskRCNN的螺母表面缺陷分割方法，其特征在于：所述步骤三中可形变卷积的输入为经过标准卷...

【专利技术属性】
技术研发人员：李子杰，程坦，刘涛，吕剑，
申请(专利权)人：中科海拓无锡科技有限公司，
类型：发明
国别省市：