一种基于小目标语义分割的工件检测方法技术

本发明专利技术公开一种基于小目标语义分割的工件检测方法，方法包括S1、根据垫片检测要求搭建目标检测算法；S2、采集多种类型的垫片图像，并进行预处理；S3、将预处理后的垫片图像分别制作成训练集和测试集；S4、将步骤S2制成的训练集放入目标检测算法当中进行训练；S5、将步骤S2制成的测试集放入步骤S4训练好的目标检测算法当中进行泛化测试；S6、根据测试结果来评判目标检测算法是否达到所要求的性能指标，主要是依托垫片检测项目，对所依托项目的生产对象垫片进行学习，最后能够对流水线上的垫片进行检测和定位，同时能识别遮挡的目标，实现了对垫片的高速度、高精度和非接触的检测与定位。位。位。

【技术实现步骤摘要】
一种基于小目标语义分割的工件检测方法


[0001]本专利技术涉及流水线检测
，尤其涉及一种基于小目标语义分割的工件检测方法。

技术介绍

[0002]工厂流水线上生产的零件，尤其以各种细小零件最为常见，在生产的过程中，个别工件会出现重叠和遮挡的现象。传统的处理方法是，在专门的生产线中，对于遮挡的物体一般较难识别，需要现场工人用手去拨开才能准确识别。但这是落后的手段，效率低，成本高，并且由于工作时间增长，工人疲劳并且引起许多的漏检。针对这种情况。

技术实现思路

[0003]针对上述问题，本专利技术研制了一种基于小目标语义分割的工件检测方法，主要是依托垫片检测项目，对所依托项目的生产对象垫片进行学习，最后能够对流水线上的垫片进行检测和定位，同时能识别遮挡的目标。经过实验发现，不仅减轻检测的工作量，同时因性能稳定可靠能长时间运行，实现了对垫片的高速度、高精度和非接触的检测与定位。
[0004]本专利技术提出一种基于小目标语义分割的工件检测方法，具体是在流水线上检测大量工件的过程中，对某些重叠工件提升检测精度，最后提高工件检测系统的性能和效率，所述方法包括以下步骤：
[0005]S1、根据垫片检测要求搭建目标检测算法；
[0006]S2、采集多种类型的垫片图像，并进行预处理；
[0007]S3、将预处理后的垫片图像分别制作成训练集和测试集；
[0008]S4、将步骤S2制成的训练集放入所述目标检测算法当中进行训练；
[0009]S5、将步骤S2制成的测试集放入步骤S4训练好的所述目标检测算法当中进行泛化测试；
[0010]S6、根据测试结果来评判目标检测算法是否达到所要求的性能指标，若达标，则投入实际生产的检测工序中；若不达标，返回步骤S2。
[0011]进一步改进在于，所述步骤S1中目标检测算法的搭建具体包括：
[0012]分别搭建Backbone网络、目标区域检测网络和实例分割网络，所述Backbone网络采用resnet和FPN，所述目标区域检测网络采用FCOS Head结构，所述实例分割网络采用小目标语义分割结构。
[0013]进一步改进在于，所述步骤S2的预处理具体包括：
[0014]先后对采集到的垫片图像进行整理、清洗和标注，所述整理处理操作为对图片的尺寸方向进行调整，使得所有垫片图像统一成相同的格式；所述清洗处理操作为根据对生产要求对各种类型的垫片进行标签定义；所述标注处理操作为使用标注工具，在垫片标注上与之对应的类型标签，并生成标注文件作为训练正样本，将非垫片部分归类为训练负样本。
[0015]进一步改进在于，所述Backbon网络结构采用resnet
‑
50，将输入图像resize设置为224x224x3，第一层采用64个7x7大小的卷积核进行步长为2的卷积操作；第二层为3x3，步长为2的最大池化操作；第三层到第十一层为第一组残差块操作，将图像尺寸降为56x56，通道上升至256；第十二层到第二十三层为第二组残差块操作，将图像尺寸降为28x28，通道上升为512；第二十四层到第四十一层为第三组残差块操作，将图像尺寸降为14x14，通道上升为1024；第四十二层到第五十层为第四组残差块操作，将图像尺寸降为7x7，通道上升为2048；最后一层不进行平均池化，接上特征金字塔网络FPN层，以获得图像的特征。
[0016]进一步改进在于，所述目标区域检测网络结构采用FCOSHead结构进行检测，所述FCOSHead结构主要是对获得的特征进行proposal生成和提取，最后获得准确的特征位置(ROI Feature)。
[0017]进一步改进在于，所述小目标语义分割结构由级联状的双图层神经网络组成，第一图层负责对遮挡物体进行建模，主要由卷积层(3x3)、图卷积层(GCN层)、FCN层、最后两个卷积层(3x3)组成，所述第一图层主要是从特征子图中，检测出遮挡物的边界和掩膜；第二图层结构与第一图层相同，构成了级联网络关系，但输入上第二图层将第一图层获得的边界和掩膜和原特征子图进行图像线性操作，获得新的输入，并对该输入进行与第一图层同样的操作，最终获得被遮挡物边界与掩膜。
[0018]进一步改进在于，所述目标检测算法的工作流程为：Backbone网络对输入的垫片图像进行特征提取，然后用目标区域检测网络预测出感兴趣目标区域候选框坐标；将获得的特征子图输入到小目标语义分割中进行实例分割，即可得到最终结果。
[0019]进一步改进在于，所述步骤S6还包括：
[0020]所述性能指标是根据目标检测算法对垫片的分类识别准确度进行统计，分别计算误检率和准确率，如果性能不达标，则不断增加垫片图像的数量与种类以提高目标检测算法对垫片图像的检测丰富度，同时调节正负样本的比例，增强目标检测算法对负样本的排除能力。
[0021]与现有技术相比，本专利技术的有益效果为：
[0022]1、将深度学习方法的目标检测算法引入垫片检测中，实现生产自动化和智能化。
[0023]2、目标检测算法能够快速将垫片检测并定位出来，为之后的机械臂的分拣提供了便利，并加快实现垫片分类的智能化。
[0024]3、替代低效的人工方法，提高效率并节省成本。
[0025]4、采用当前最新针对遮挡小目标的语义分割算法，出现的个别重叠目标也能识别成功，要比传统的分割算法获得更好的检测性能。
附图说明
[0026]附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0027]图1为本专利技术一实施方式的整体流程示意图。
具体实施方式
[0028]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术的具体含义。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0029]参照图1，一种基于小目标语义分割的工件检测方法，主要内容是首先从生产工厂中找到大量的垫片材料作为待测对象，并且保证每种垫片种类一致；然后对采集好的垫片图片数据进行整理，清洗与标注，最后制作成训练集和测试集；根据厂家对垫片检测的要求，我们定义好垫片的类型与标记，然后根据需要识别的类型数量，进行目标检测算法的搭建；使用制作好的训练集对目标检测算法进行多次训练，并在最后使用制作好的测试集对训练好的目标检测算法进行泛化测试。通过测试结果计算准确率，召回率等等参数来评价目标检测算法的性能，如果性能没有达到要求，则不断重复之前的操作，直到训练到性能符合要求的目标检测算法。最后将训练完成的目标检测算法投入使用。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于小目标语义分割的工件检测方法，其特征在于，所述方法包括以下步骤：S1、根据垫片检测要求搭建目标检测算法；S2、采集多种类型的垫片图像，并进行预处理；S3、将预处理后的垫片图像分别制作成训练集和测试集；S4、将步骤S2制成的训练集放入所述目标检测算法当中进行训练；S5、将步骤S2制成的测试集放入步骤S4训练好的所述目标检测算法当中进行泛化测试；S6、根据测试结果来评判目标检测算法是否达到所要求的性能指标，若达标，则投入实际生产的检测工序中；若不达标，返回步骤S2。2.根据权利要求1所述的一种基于小目标语义分割的工件检测方法，其特征在于，所述步骤S1中目标检测算法的搭建具体包括：分别搭建Backbone网络、目标区域检测网络和实例分割网络，所述Backbone网络采用resnet和FPN，所述目标区域检测网络采用FCOS Head结构，所述实例分割网络采用小目标语义分割结构。3.根据权利要求1所述的一种基于小目标语义分割的工件检测方法，其特征在于，所述步骤S2的预处理具体包括：先后对采集到的垫片图像进行整理、清洗和标注，所述整理处理操作为对图片的尺寸方向进行调整，使得所有垫片图像统一成相同的格式；所述清洗处理操作为根据对生产要求对各种类型的垫片进行标签定义；所述标注处理操作为使用标注工具，在垫片标注上与之对应的类型标签，并生成标注文件作为训练正样本，将非垫片部分归类为训练负样本。4.根据权利要求2所述的一种基于小目标语义分割的工件检测方法，其特征在于，所述Backbon网络结构采用resnet
‑
50，将输入图像resize设置为224x224x3，第一层采用64个7x7大小的卷积核进行步长为2的卷积操作；第二层为3x3，步长为2的最大池化操作；第三层到第十一层为第一组残差块操作，将图像尺寸降为56x56，通道上升至256；第十二层到第二十三层为第二组残差块操...

【专利技术属性】
技术研发人员：黄坤山，李霁峰，谢克庆，
申请(专利权)人：佛山市南海区广工大数控装备协同创新研究院，
类型：发明
国别省市：