基于深度学习的工业产品表面缺陷检测方法技术

本发明专利技术一种基于深度学习的工业产品表面缺陷检测方法，在工业流水线上拍摄，采集得到工业产品表面缺陷数据集；使用优化后的YOLOX深度学习网络模型构建工业产品表面缺陷检测模型，通过主干特征提取网络CSPDarknet提取不同尺度特征；通过颈部网络对特征进行深度融合特征提取，增强不同尺度特征的表达；通过基于无锚框检测器的YOLOXHead作为检测头生成工业产品表面缺陷检测模型；训练网络模型；载入权值文件，并使用网络模型对工业产品图像进行表面缺陷检测，生成预测结果并显示缺陷类型和缺陷位置。本发明专利技术不仅提升了网络模型对特征空间位置信息和不规则分布的缺陷的捕获能力，并且在提升精度的同时降低模型的参数量，使本发明专利技术能够移植应用于移动端或嵌入式设备。能够移植应用于移动端或嵌入式设备。能够移植应用于移动端或嵌入式设备。

【技术实现步骤摘要】
基于深度学习的工业产品表面缺陷检测方法


[0001]本专利技术属于机器视觉图像处理领域，尤其一种基于深度学习的工业产品表面缺陷检测方法。

技术介绍

[0002]作为钢铁产业的主要产品之一,带钢已成为汽车工业、机械制造、化工设备和航空航天等工业领域必不可少的原材料之一。在过去十几年中,由于带钢生产工艺的迅速发展,带钢在其厚度、宽度和板型等质量特性方面获得了巨大提升。但是随着航天航空、汽车工业、精密机械制造等高精尖产业蓬勃发展,对带钢产品质量提出了更高的要求，然而因受原材料、生产技术、生产工艺以、环境条件等因素影响,带钢表面不可避免的会出表面杂质、斑点、划痕等缺陷,严重影响了带钢生产效率与产品质量。因此,做好带钢表面缺陷检测是保证生产高质量带钢的关键步骤,是工业生产领域中的重要一环,严格进行带钢生产检测是提高带钢质量的必要保证。此外，有效控制带钢表面缺陷的出现,不仅能够减少因废弃造成的经济损失,还能提升产品的质量从而提高钢铁企业的市场竞争力，促进相关行业高质量发展。基于机器视觉的带钢缺陷检测技术是解决上述问题的关键方法之一,研究基于带钢表面图像的缺陷自动化检测算法对提升带钢质量具有十分重要的实用价值,不仅可以提高带钢产品的自动化水平和生产效率,还能大大降低质检人员的劳动强度和劳动成本,应用前景十分广阔。
[0003]近年来，深度学习在图像分类、目标检测、目标跟踪等领域表现效果优异。文献(J.Redmon,S.Divvala,R.Girshic,and A.Farhadi,“You Only Look Once:Unified,Real
‑
Time Object Detection,”2016IEEE Conference on Computer Vision and Pattern Recognition,pp.779
‑
788,Jun.2016.)提出了一种端到端的目标检测算法YOLOv1,将目标检测的问题统一成一个回归问题。文献(J.Redmon and A.Farhadi,"YOLO9000:Better,Faster,Stronger,"2017 IEEE Conference on Computer Vision and Pattern Recognition,pp.6517
‑
6525,Jul.2017.)提出的YOLO9000在v1的基础上提升了召回率和定位能力。文献(J.Redmon and A.Farhadi,“YOLOv3:An incremental improvement,”2018,arXiv:1804.02767.)提出的YOLOv3借鉴了Resnet的残差思想，在速度和准确率上都进一步得到提升。文献(X.Kou,S.Liu,K.Cheng,and Y.Qian,“Development of a YOLO
‑
V3
‑
based model for detecting defects on steel strip steel surface,”Measurement,vol.182,Sep.2021,Art.no.109454.)在NEU
‑
DET数据集上应用了YOLOv3算法，mAP效果达到了72.2％，这表现出YOLOv3在钢带表面缺陷检测的适用性。
[0004]但在实际工业场景下，现有的表面缺陷检测方法仍然存在不足之处，一方面，YOLO系列的主干网络在工业表面缺陷特征提取中难以继续提升得到更好的效果；另一方面，基于锚框检测器的局限性，会造成网络生产大量的冗余预选框，计算成本较高，网络的泛化性也较差。
[0005]因此，为提升算法在工业表面缺陷检测的准确度和泛化性，本专利技术根据YOLOX的特
性，在其基础上进行了改进。

技术实现思路

[0006]本专利技术的目的在于提供一种基于深度学习的工业产品表面缺陷检测方法，提升了网络模型的计算速度、检测精度和泛化能力。
[0007]本专利技术一种基于深度学习的工业产品表面缺陷检测方法，包括如下步骤：
[0008]步骤S1、在工业流水线上拍摄，采集工业产品表面的原始图像；
[0009]步骤S2、对工业产品表面的原始图像进行缺陷类别标注，得到工业产品表面缺陷数据集：
[0010]步骤S3、以工业产品表面缺陷数据集中的缺陷图像作为输入，并对输入图像进行数据增强；
[0011]步骤S4、使用优化后的YOLOX深度学习网络模型构建工业产品表面缺陷检测模型，所述优化后的YOLOX深度学习网络模型包括Focus模块、基础卷积模块、可形变卷积模块、CSPLayer层、主体残差循环块结构、坐标注意力机制模块、YOLOXHead模块；
[0012]所述CSPLayer层，通过大残差块嵌套小残差块对网络进行特征提取操作；其中，大残差块为1个1
×
1卷积核大小的基础卷积模块，小残差块为1个连续的1
×
1卷积核大小的基础卷积模块和1个增强形变特征提取块；该增强形变特征提取模块包括：首先依次使用1个1
×
1卷积核大小的基础卷积模块和3
×
3卷积核大小基础卷积模块进行特征提取，其次，依次使用1个3
×
3卷积核大小的可形变卷积模块和1个3
×
3卷积核大小的基础卷积模块进行特征提取，再次，使用1条残差边进行特征提取，主干特征提取网络对小残差块进行循环的主要特征提取操作，循环结束后，将小残差块与大残差块所提取特征进行信息叠加操作；
[0013]所述YOLOXHead模块，使用基础卷积模块对输入的特征层进行通道的处理，然后进行切分，一边依次使用1对3
×
3卷积核大小的基础卷积模块对进行特征提取以用于分类任务，另一边引入增强形变特征卷积模块，依次使用一个3
×
3卷积核大小的可形变卷积模块和1个3
×
3卷积核大小的基础卷积模块进行特征提取，通道调整后切分用于回归任务和目标任务；
[0014]所构建的网络模型执行如下步骤：
[0015]通过主干特征提取网络CSPDarknet提取不同尺度特征；
[0016]通过颈部网络对特征进行深度融合特征提取，增强不同尺度特征的表达；
[0017]通过基于无锚框检测器的YOLOXHead作为检测头生成工业产品表面缺陷检测模型；
[0018]步骤S5、训练网络模型
[0019]将步骤S3得到的数据增强过的工业产品表面缺陷数据集划分为训练集、测试集和验证集，使用划分后的数据集对网络模型进行训练，生成训练后的工业产品表面缺陷检测模型；在工业产品表面缺陷检测模型训练过程中采用损失函数，使用优化器对损失函数中的权值进行更新，直到训练结束，保存训练完成后网络模型的权值文件；
[0020]步骤S6、对训练后得到的权值文件进行载入，并使用步骤S5训练好的网络模型对工业产品图像进行表面缺陷检测，生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的工业产品表面缺陷检测方法，其特征在于包括如下步骤：步骤S1、在工业流水线上拍摄，采集工业产品表面的原始图像；步骤S2、对工业产品表面的原始图像进行缺陷类别标注，得到工业产品表面缺陷数据集：步骤S3、以工业产品表面缺陷数据集中的缺陷图像作为输入，并对输入图像进行数据增强；步骤S4、使用优化后的YOLOX深度学习网络模型构建工业产品表面缺陷检测模型，所述优化后的YOLOX深度学习网络模型包括Focus模块、基础卷积模块、可形变卷积模块、CSPLayer层、主体残差循环块结构、坐标注意力机制模块、YOLOXHead模块；所述CSPLayer层，通过大残差块嵌套小残差块对网络进行特征提取操作；其中，大残差块为1个1
×
1卷积核大小的基础卷积模块，小残差块为1个连续的1
×
1卷积核大小的基础卷积模块和1个增强形变特征提取块；该增强形变特征提取模块包括：首先依次使用1个1
×
1卷积核大小的基础卷积模块和3
×
3卷积核大小基础卷积模块进行特征提取，其次，依次使用1个3
×
3卷积核大小的可形变卷积模块和1个3
×
3卷积核大小的基础卷积模块进行特征提取，再次，使用1条残差边进行特征提取，主干特征提取网络对小残差块进行循环的主要特征提取操作，循环结束后，将小残差块与大残差块所提取特征进行信息叠加操作；所述YOLOXHead模块，使用基础卷积模块对输入的特征层进行通道的处理，然后进行切分，一边依次使用1对3
×
3卷积核大小的基础卷积模块对进行特征提取以用于分类任务，另一边引入增强形变特征卷积模块，依次使用一个3
×
3卷积核大小的可形变卷积模块和1个3
×
3卷积核大小的基础卷积模块进行特征提取，通道调整后切分用于回归任务和目标任务；所构建的网络模型执行如下步骤：通过主干特征提取网络CSPDarknet提取不同尺度特征；通过颈部网络对特征进行深度融合特征提取，增强不同尺度特征的表达；通过基于无锚框检测器的YOLOXHead作为检测头生成工业产品表面缺陷检测模型；步骤S5、训练网络模型将步骤S3得到的数据增强过的工业产品表面缺陷数据集划分为训练集、测试集和验证集，使用划分后的数据集对网络模型进行训练，生成训练后的工业产品表面缺陷检测模型；在工业产品表面缺陷检测模型训练过程中采用损失函数，使用优化器对损失函数中的权值进行更新，直到训练结束，保存训练完成后网络模型的权值文件；步骤S6、对训练后得到的权值文件进行载入，并使用步骤S5训练好的网络模型对工业产品图像进行表面缺陷检测，生成预测结果并显示缺陷类型和缺陷位置。2.根据权利要求1所述的一种基于深度学习的工业产品表面缺陷检测方法，其特征在于：Focus模块，用于对输入的缺陷图像进行切分操作，图像中每隔一个像素取得一个像素值，通过间隔采样的方式将图像拆分成四份特征层，在通道维度上对这四份特征层进行堆叠操作；基础卷积模块，包括卷积、批量归一化和激活函数；可形变卷积模块，包括可形变卷积、批量归一化和激活函数；主体残差循环块结构，由一个3
×
3卷积核...

【专利技术属性】
技术研发人员：杜永兆，陈海信，傅玉青，柯钦怀，陈光焱，
申请(专利权)人：福建众益太阳能科技股份公司，
类型：发明
国别省市：