基于改进YOLOv5的表面缺陷检测方法技术

本发明专利技术公开了一种基于改进YOLOv5的表面缺陷检测方法，涉及金属检测领域。本发明专利技术基于YOLOv5s神经网络模型结构进行改进，在原有Backbone主干网络部分尾部增添使用了C3STR模块，通过C3STR模块对缺陷特征进行捕获强化，从而提取出更加丰富的图像缺陷特征，提高对图像中缺陷识别的准确性，并且能够降低对缺陷特征进行提取时的计算量，使得具有轻量性的特点。在将缺陷特征提取处标注框信息时，使用Coordinate Attention坐标注意力模块先对通道、方向和位置等感知信息进行捕获，能够帮助YOLOv5s的Head检测头部分对缺陷特征进行定位和识别，具有灵活、轻量和快速等优点。轻量和快速等优点。轻量和快速等优点。

【技术实现步骤摘要】
基于改进YOLOv5的表面缺陷检测方法


[0001]本专利技术涉及金属检测领域，具体涉及基于改进YOLOv5的表面缺陷检测方法。

技术介绍

[0002]工业环境中的金属设备因处于高温，辐射，化学原料接触，高湿度等特殊运行环境，设备表面极大可能出现各种缺陷。金属设备的表面缺陷可能导致运行效率的降低，电子设备地失效甚至有毒物质的泄露等重大安全隐患，为工厂乃至社会带来重大损失。因此及时发现金属设备表面缺陷成为工厂安全管理的核心任务。但由于金属设备的数量多，分布广，结构复杂，缺陷形式多样(金属锈蚀/点蚀/开裂、涂层破损、衬胶层失效、土建结构破损等)，给缺陷检测工作带来巨大的困难，给工厂带来高昂的运维成本。在这种情况下选择使用目标检测算法作为辅助检测手段有利于提升检测人员的工作效率。
[0003]现有技术主要采用两种方式，一种是基于传统机器学习的目标检测算法，利用手工设计的特征，在感兴趣区域进行特征选取。但是，这种方式在面对多样复杂的环境时难以表现出较强的健壮性，检测的精度较低；采用滑动窗口的方式对图片选择感兴趣区域，这导致了较大的计算量，降低了运算速度，另外由于滑动窗口使用固定的步长及图像中存在不同尺度的目标，可能导致对同一目标的重复识别及对小目标的漏检。另一种是基于深度学习目标检测方法，虽然在某些方面表现较好，但同时也有着一些不容忽视的缺陷。例如，面向小目标的多尺度Faster
‑
RCNN检测算法，提高了在小目标检测任务上的精度，但仅能应用于特定的问题背景下，缺乏一定的通用性，同时其又是基于锚点估计的方法，无法解决旋转目标角度偏移等问题。又如，基于稀疏Transformer的遥感旋转目标检测可以灵活地对图像的旋转精确检测，但其在较大背景下进行检测时，微小的角度误差会急剧降低检测的精度，在环境变得复杂时容易漏检，大大降低了物体检测的精度。此外，融合混合域注意力的YOLOv4目标检测在小目标和遮挡目标检测方面效果突出，但在图像画质较低时由于能够提取的信息不够充分，导致误检的概率较大，同时该模型的泛化能力不足，不能很好地适应更多的应用场景。

技术实现思路

[0004]针对现有技术的上述不足，本专利技术提供了一种具有轻量性以及较高准确度的优点的基于改进YOLOv5的表面缺陷检测方法。
[0005]为达到上述专利技术目的，本专利技术所采用的技术方案为：
[0006]提供一种基于改进YOLOv5的表面缺陷检测方法，包括如下步骤：
[0007]S1；对获取到的待检测图片进行预处理，得到预处理图片；
[0008]S2；将预处理图片输入优化好的改进YOLOv5神经网络模型中进行缺陷特征提取和预测，得到预处理图片中缺陷部分的标注框信息；具体步骤如下：
[0009]S21；将预处理图片输入Backbone主干网络部分，通过CSP
‑
DarkNet网络提取出预处理图片中的缺陷特征ω；
[0010]S22；使用C3STR模块对缺陷特征ω进行捕获强化，得到缺陷特征ω'；
[0011]C3STR模块执行的具体步骤如下：
[0012]S221；将缺陷特征ω输入C3STR模块，对缺陷特征ω分别进行一次卷积得到缺陷特征ω1和缺陷特征ω2；
[0013]S222；将缺陷特征ω1使用Swin
‑
Transformer Block移动窗口转换器模块进行n次处理得到ω1'；
[0014]S223；将缺陷特征ω1'和缺陷特征ω2进行残差连接后再进行一次卷积得到缺陷特征ω'；将缺陷特征ω'输出；
[0015]S23；将缺陷特征ω以及缺陷特征ω'输入Neck颈部连接部分，通过PANet网络对缺陷特征ω和缺陷特征ω'进行解码，得到缺陷特征ω”；
[0016]S24；将缺陷特征ω”输入Head检测头部分，通过Coordinate Attention坐标注意力模块对缺陷特征ω”进行注意力区域提取，得到标注框信息；
[0017]S3；将标注框信息绘制在待检测图片上，完成表面缺陷检测。
[0018]在处理分辨率较大的待测图片时，采用多次Swin
‑
Transformer Block移动窗口转换器模块(以下简称STR模块)对待测图片进行处理。STR模块将待测图片进行窗口划分，在每个窗口内部进行自注意力计算；在下一次的STR模块对图像处理时，会将上一次划分的窗口在横纵坐标方向上均平移半个窗口后，再次在窗口内部进行自注意力计算，最后将每次STR模块处理得到的自注意力信息汇总。步骤虽然增加了，但是相较于直接对待测图片整体进行缺陷特征提取，极大的减少了参数量，从而减少了计算量，同时也能够保证整个图片的自注意力信息都被提取。
[0019]进一步的，步骤S222中n∈[3,9]。
[0020]进一步的，改进YOLOv5神经网络模型的优化步骤如下：
[0021]A1；对表面缺陷数据集进行预处理，并且将预处理好的表面缺陷数据集中随机选择半数的数据样本组成训练集P，剩余的数据样本组成测试集P'；
[0022]A2；提出损失函数Loss，使用训练集对改进YOLOv5神经网络模型进行迭代训练得到训练好的改进YOLOv5神经网络模型；
[0023]Loss＝L
rect
+L
conf
+L
class
；
[0024]其中，L
rect
为目标框损失、L
conf
为置信度损失、L
class
为分类损失；
[0025]目标框损失使用IOU损失函数度量，置信度损失和分类损失使用二元交叉熵损失函数L
BCE
度量；
[0026]L
rect
＝1
‑
IOU；
[0027][0028]其中，S
gt
为目标框面积、S
pred
为预测框面积；
[0029][0030]其中，C为网格内含有目标对象的置信度、为网格内是否含有目标对象，即
当网格内含有目标对象时，则反之，则
[0031][0032]其中，p(c)为预测框内检测对象归属于类别c的概率、为该检测对象是否归属于类别c，即当该检测对象归属于类别c时，则反之，则
[0033]A3；使用测试集P'对训练好的改进YOLOv5神经网络模型进行测试验证得到优化好的改进YOLOv5神经网络模型。
[0034]传统使用的MSE均方差损失函数在对目标框损失进行度量时，会假设矩阵形的目标框的坐标和宽高是相对独立的，但是实际情况下两者往往有着较大相关度；采用IOU损失函数则不会出现将目标框的坐标和宽高进行独立考量的情况，能够更好的对改进YOLOv5神经网络模型进行训练。
[0035]进一步的，目标框损失使用CIOU损失函数度量，即：
[0036]L
rect
＝1
‑
CIOU；
...

【技术保护点】

【技术特征摘要】
1.基于改进YOLOv5的表面缺陷检测方法，其特征在于，包括如下步骤：S1；对获取到的待检测图片进行预处理，得到预处理图片；S2；将预处理图片输入优化好的改进YOLOv5神经网络模型中进行缺陷特征提取和预测，得到预处理图片中缺陷部分的标注框信息；具体步骤如下：S21；将预处理图片输入Backbone主干网络部分，通过CSP
‑
DarkNet网络提取出预处理图片中的缺陷特征ω；S22；使用C3STR模块对缺陷特征ω进行捕获强化，得到缺陷特征ω'；所述C3STR模块执行的具体步骤如下：S221；将缺陷特征ω输入C3STR模块，对缺陷特征ω分别进行一次卷积得到缺陷特征ω1和缺陷特征ω2；S222；将缺陷特征ω1使用Swin
‑
Transformer Block移动窗口转换器模块进行n次处理得到ω1'；S223；将缺陷特征ω1'和缺陷特征ω2进行残差连接后再进行一次卷积得到缺陷特征ω'；将缺陷特征ω'输出；S23；将缺陷特征ω以及缺陷特征ω'输入Neck颈部连接部分，通过PANet网络对缺陷特征ω和缺陷特征ω'进行解码，得到缺陷特征ω”；S24；将缺陷特征ω”输入Head检测头部分，通过Coordinate Attention坐标注意力模块对缺陷特征ω”进行注意力区域提取，得到标注框信息；S3；将标注框信息绘制在待检测图片上，完成表面缺陷检测。2.根据权利要求1所述基于改进YOLOv5的表面缺陷检测方法，其特征在于，所述步骤S222中n∈[3,9]。3.根据权利要求1所述基于改进YOLOv5的表面缺陷检测方法，其特征在于，所述改进YOLOv5神经网络模型的优化步骤如下：A1；对表面缺陷数据集进行预处理，并且将预处理好的表面缺陷数据集中随机选择半数的数据样本组成训练集P，剩余的数据样本组成测试集P'；A2；建立损失函数Loss，使用训练集P对改进YOLOv5神经网络模型进行迭代训练得到训练好的改进YOLOv5神经网络模型；Loss＝L
rect
+L
conf
+L
class
；其中，L
rect
为目标框损失、L
conf
为置信度损失、L
class
为分类损失；所述目标框损失使用IOU损失函数度量，所述置信度损失和分类损失使用二元交叉熵损失函数L
BCE
度量；L
rect
＝1
‑
IOU；其中，S
gt...

【专利技术属性】
技术研发人员：杨文，汤臣薇，吉昱阳，郭美彤，刘沛东，程锦国，
申请(专利权)人：四川大学，
类型：发明
国别省市：