一种基于语义分割的密封圈表面缺陷检测方法技术

本发明专利技术公开了一种基于语义分割的密封圈表面缺陷检测方法，其包括：根据合格密封圈图像与不合格密封圈图像，确定所需检测的密封圈图像的缺陷类型；采集密封圈图像并进行预处理；对所述预处理后的图像进行像素级别的缺陷标注，并将原始密封圈图像及其对应的标注信息作为样本数据集；对所述样本数据集进行数据增强，得到训练集、测试集和验证集；构建语义分割缺陷检测模型，并将所述训练集、测试集和验证集输入语义分割缺陷检测网络进行训练，得到训练好的语义分割缺陷检测模型；将待检测的密封圈图像输入训练好的语义分割缺陷检测模型进行缺陷检测，得到对应输出的具有缺陷种类的标签图像，获得缺陷检测结果。本发明专利技术所提出的方法能够自动化、高精度的对密封圈表面进行缺陷检测。

A method of sealing ring surface defect detection based on semantic segmentation

【技术实现步骤摘要】
一种基于语义分割的密封圈表面缺陷检测方法
本专利技术属于工业产品表面缺陷检测领域，具体涉及一种基于语义分割的密封圈表面缺陷检测方法。
技术介绍
当前，工业自动化水平越来越高，消费者对产品质量要求也愈加严格，产品质量关乎生产厂商的生命线和未来发展，缺陷检测技术被广泛应用于布匹瑕疵检测、工件表面质量检测、航空航天领域等。工业产品检测不仅可以保证产品质量，还可以反映生产工艺中存在的问题，是工业生产中必不可少的环节。目前，工业界普遍采取的产品缺陷检测的方式主要有两种：(1)人工检测；(2)基于机器视觉的检测方法。其中，人工检测存在效率低、成本高、人工易产生疲倦等诸多缺点；在大批量工业生产中，基于机器视觉的缺陷检测方法在准确率、速度、成本等方面都优于人工方法，因此，采用基于机器视觉的智能检测手段来取代人工方法是工业质量检测的必然趋势。早期基于机器视觉的检测方法大多依赖于手工设计的特征，过程繁复，效果不佳，近年来，随着以卷积神经网络为代表的深度学习在目标检测等领域的广泛应用，研究者也逐渐开始将其应用到工业缺陷检测领域，让计算机自动从工业产品图像数据中学习工业缺陷模式特征并建立模型，实现智能化的工业产品检测。但是由于微小缺陷在工业产品图像中的分辨率过低、像素数目较少，加之部分工业产品图像的背景复杂，现有的基于深度学习的工业缺陷检测方法，卷积神经网络提取到的只能是较为粗糙的特征，不能较好地检测并提取缺陷区域边界，导致缺陷检测的准确率较低。总体而言，现有缺陷检测方法存在检测效率和准确率低的问题。专利技术内容本专利技术的目的是通过以下技术方案实现的。针对上述问题，本专利技术提出了一种基于语义分割的密封圈表面缺陷检测方法，所述方法包括以下步骤：根据合格密封圈图像与不合格密封圈图像，确定所需检测的密封圈图像的缺陷类型；采集密封圈图像并进行预处理；对所述预处理后的图像进行像素级别的缺陷标注，并将原始密封圈图像及其对应的标注信息作为样本数据集；对所述样本数据集进行数据增强，得到训练集、测试集和验证集；构建语义分割缺陷检测模型，并将所述训练集、测试集和验证集输入所述语义分割缺陷检测网络进行训练，得到训练好的语义分割缺陷检测模型；其中，所述语义分割缺陷检测网络包括语义分割缺陷检测模型；将待检测的密封圈图像输入训练好的语义分割缺陷检测模型进行缺陷检测，得到对应输出的具有缺陷种类的标签图像，获得缺陷检测结果。进一步地，所述的密封圈缺陷类型为：缺料、裂缝。进一步地，所述采集密封圈表面图像并进行预处理，具体包括：在环形光源的打光条件下，使用工业相机拍摄密封圈图像；对所述密封圈图像进行图像预处理。进一步地，所述的图像预处理包括图像灰度化、和图像尺寸归一化。进一步地，所述对所述预处理后的图像进行像素级别的缺陷标注，并将原始密封圈图像及其对应的标注信息作为样本数据集，包括：使用标注软件LabelMe对密封圈图像进行标注，标注出缺陷的类型和区域，形成相对应的PNG标注文件，并将原始图像与标注文件分别保存在目标文件夹的Image文件夹和Label文件夹。进一步地，所述数据增强包括对图像进行水平和垂直翻转、旋转、添加高斯噪声、和HSV对比度变换。进一步地，所述语义分割缺陷检测模型包括顺次连接的多尺度输入模块、编码器、注意力机制模块、解码器。进一步地，所述编码器由一系列3×3膨胀卷积层和3×3的最大池化层组成，每一个卷积层后都使用批量归一化对网络结果进行标准化；所述编码器通过卷积层和最大池化层提取密封圈的缺陷特征信息，并增强特征图的维度，降低特征图尺度；所述解码器由一系列1×1、3×3卷积层和3×3上采样层组成，每一个卷积层后都使用批量归一化操作对网络结果进行标准化；在解码过程中，将同等层次编码器的特征抽取和解码器的特征进行拼接，实现低层和高层特征的融合。进一步地，所述语义分割缺陷检测模型的损失函数包括FocalTversky损失函数。进一步地，所述的进行语义分割缺陷检测模型的训练按以下方式进行：针对密封圈缺陷图像集与缺陷标注图像集合，将图像中背景信息设置为0类检测项，将包括裂纹类和缺料的缺陷信息设置为1类检测项；每次送入网络中训练的训练样本的数量为2；然后设置最大训练迭代次数为N＝100000，在实际训练过程中若损失值已收敛，则停止训练，进而检测测试效果。本专利技术的优点在于：(1)构建的语义分割缺陷检测模型能够快速准确地将密封圈的表面缺陷分割出来，并能对分割出的缺陷区域进行量化处理，计算出缺陷区域的位置和面积。(2)本专利技术构建的语义分割检测模型能够将密封圈的微小缺陷分割出来，解决了现有机器视觉方法不能很好的分割密封圈的微小缺陷的问题。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为基于语义分割的密封圈表面缺陷方法流程图。图2为密封圈的缺陷类型图。图3为语义分割缺陷检测模型结构图。图4为密封圈的缺陷检测结果示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。如图1所示，本专利技术公开了一种基于语义分割的密封圈表面缺陷方法，包含以下步骤：步骤1：根据合格密封圈图像与不合格密封圈图像，确定所需检测的密封圈图像的缺陷类型；步骤2：使用工业相机采集密封圈表面图像，对采集的图像进行预处理；步骤3：对步骤2的图像进行像素级别的缺陷标注，并将原始密封圈图像及其对应的标注信息作为样本数据集；步骤4：对步骤3的样本数据集进行数据增强，得到训练集、测试集和验证集；步骤5：构建改进的语义分割缺陷检测模型，并将步骤4中训练集、测试集和验证集输入搭建好的语义分割缺陷检测网络进行训练，得到训练好的语义分割缺陷检测模型；其中，语义分割缺陷检测网络包括语义分割缺陷检测模型；步骤6：将待检测的密封圈图像输入训练好的语义分割缺陷检测模型进行缺陷检测，得到对应输出的具有缺陷种类的标签图像，获得缺陷检测结果。如图1所示，本专利技术的方法具体包括以下步骤：步骤1)：密封圈是一个表面具有一定弧度的环形橡胶产品，橡胶密封圈是一种重要的工业用品，是多个行业的基础零部件。橡胶密封圈可以防水、防油、防气、减震等功能，它的质量好坏直接影响产品的性能和使用寿命，甚至人身财产安全。密封圈的缺陷会影响密封圈的性能，同时也会造成安全问题，同时给使用客户和生产企业造成巨大的经济损失，因此密封圈出厂前和本文档来自技高网...

【技术保护点】
1.一种基于语义分割的密封圈表面缺陷检测方法，其特征在于，所述方法包括以下步骤：/n根据合格密封圈图像与不合格密封圈图像，确定所需检测的密封圈图像的缺陷类型；/n采集密封圈图像并进行预处理；/n对所述预处理后的图像进行像素级别的缺陷标注，并将原始密封圈图像及其对应的标注信息作为样本数据集；/n对所述样本数据集进行数据增强，得到训练集、测试集和验证集；/n构建语义分割缺陷检测模型，并将所述训练集、测试集和验证集输入语义分割缺陷检测网络进行训练，得到训练好的语义分割缺陷检测模型；其中，所述语义分割缺陷检测网络包括语义分割缺陷检测模型；/n将待检测的密封圈图像输入训练好的语义分割缺陷检测模型进行缺陷检测，得到对应输出的具有缺陷种类的标签图像，获得缺陷检测结果。/n

【技术特征摘要】
1.一种基于语义分割的密封圈表面缺陷检测方法，其特征在于，所述方法包括以下步骤：
根据合格密封圈图像与不合格密封圈图像，确定所需检测的密封圈图像的缺陷类型；
采集密封圈图像并进行预处理；
对所述预处理后的图像进行像素级别的缺陷标注，并将原始密封圈图像及其对应的标注信息作为样本数据集；
对所述样本数据集进行数据增强，得到训练集、测试集和验证集；
构建语义分割缺陷检测模型，并将所述训练集、测试集和验证集输入语义分割缺陷检测网络进行训练，得到训练好的语义分割缺陷检测模型；其中，所述语义分割缺陷检测网络包括语义分割缺陷检测模型；
将待检测的密封圈图像输入训练好的语义分割缺陷检测模型进行缺陷检测，得到对应输出的具有缺陷种类的标签图像，获得缺陷检测结果。


2.根据权利要求1所述方法，其特征在于，所述的密封圈缺陷类型为：缺料、裂缝。


3.根据权利要求1所述方法，其特征在于，所述采集密封圈表面图像并进行预处理，具体包括：
在环形光源的打光条件下，使用工业相机拍摄密封圈图像；
对所述密封圈图像进行图像预处理。


4.根据权利要求3所述方法，其特征在于，所述的图像预处理包括图像灰度化、和图像尺寸归一化。


5.根据权利要求1所述方法，其特征在于，所述对所述预处理后的图像进行像素级别的缺陷标注，并将原始密封圈图像及其对应的标注信息作为样本数据集，包括：
使用标注软件LabelMe对密封圈图像进行标注，标注出缺陷的类型和区域，形成相对应的PNG标注文件，并将原始...

【专利技术属性】
技术研发人员：朱登明，王素琴，石敏，乔昆磊，
申请(专利权)人：太仓中科信息技术研究院，
类型：发明
国别省市：江苏;32