基于注意力机制的多尺度微小瑕疵检测方法技术

本发明专利技术涉及瑕疵检测技术领域，具体的说是基于注意力机制的多尺度微小瑕疵检测方法，通过获取训练样本集和测试样本集，构建基于注意力机制的多尺度YOLOv5模型，对基于注意力机制的多尺度YOLOv5模型网络进行迭代训练，获取微小瑕疵目标缺陷图像的识别结果，采用了数据增强与卷积块注意力机制模，提高网络的特征提取能力，对通道特征具有强化重要信息，抑制无关信息的作用，能够使得网络提取出更加关键的特征，从而提高检测效率，并且采用YOLOv5处理算法，大大提升了算法运行速度，实现在线实时检测，优化了检测层的结构，使得本发明专利技术适用于不同大小规格的车标，本发明专利技术算法速度快，可以实现在线实时检测。现在线实时检测。现在线实时检测。

【技术实现步骤摘要】
基于注意力机制的多尺度微小瑕疵检测方法


[0001]本专利技术涉及一种检测方法，具体为基于注意力机制的多尺度微小瑕疵检测方法，属于瑕疵检测


技术介绍

[0002]随着国内企业数字化的发展，许多传统企业需要就行数字化转型。目前，国内的许多企业在商品的质量检测上，依然依靠人眼辨识，这种人工识别的方法，随着观察时间的增加，检测员的眼睛过度疲劳，导致准确率会降低，检测时间会下降，最终影响生产效率。由于计算机视觉技术有自动、准确且能够快速识别的特点，因此，将计算机视觉技术应用于产品质量检测方面具有极其重要的意义和实际价值。
[0003]作为机器视觉检测的一种，现行表面缺陷检测技术，一般为使用工业相机采集被测物图像，处理图像得到被测物的瑕疵信息。表面缺陷检测技术目前已经广泛的应用在视觉检测的各个领域之中，它已经成为自动化生产中确保产品质量的一个非常重要的环节。表面质量检测相对于肉眼来说具有更高的精确程度，速度更快，能让更多的企业省时省力，取代人工，同时也节约了成本，安全与高效并存。表面质量检测基于机器视觉检测技术，对于工件表面存在斑点、缺损以及色差等缺陷进行检测。
[0004]微小瑕疵检测作为表面缺陷检测的一个分支，解决一般表面缺陷检测容易出现的错分、漏检等问题，该类缺陷目标在整个图像中所占的像元很少，并且信噪比低、背景区域分布不均匀、背景与目标灰度值区分不明显等。例如车标检测上的刮伤、漏镀、颗粒、异色、凹痕等微小缺陷。
[0005]然而，现阶段的微小瑕疵检测算法大多针对大于1mm的瑕疵，对于大小为0.1
‑
0.2mm瑕疵的检测算法较少且精度较低。例如车标采集回的图像大小为5500
×
3600像素，0.2mm的瑕疵在图像中的投影大小为2
×
2，占比约为千万分之二。相比于其他算法，图像大小是3000
×
2000像素，瑕疵投影大小却占据20
×
20像素，占比约为十万分之六。现阶段的算法针对微小瑕疵进行处理，耗时短的计算快的，漏检率高，而漏检率低的算法，由于耗时原因，难以实现在线检测，难以对车标的微小瑕疵进行精准在线检测。
[0006]有鉴于此特提出本专利技术，以解决现有技术中对微小瑕疵检测速度慢和漏检率高的问题。

技术实现思路

[0007]本专利技术的目的就在于为了解决上述问题而提供基于注意力机制的多尺度微小瑕疵检测方法，用于解决对微小瑕疵检测速度慢和漏检率高的问题。
[0008]本专利技术通过以下技术方案来实现上述目的，基于注意力机制的多尺度微小瑕疵检测方法，包括以下步骤：
[0009]步骤一、获取训练样本集和测试样本集；
[0010]步骤二、构建基于注意力机制的多尺度YOLOv5模型；
[0011]步骤三、对基于注意力机制的多尺度YOLOv5模型网络进行迭代训练；
[0012]步骤四、获取微小瑕疵目标缺陷图像的识别结果。
[0013]进一步的，在步骤一中，获取训练样本集和测试样本集时，获取V幅包含不同类别瑕疵的图像O＝{o
i
|1≤i≤V}，并对每幅瑕疵图像o
i
中的瑕疵类别及位置坐标进行标注，得到类别标签集和位置坐标标签集其中，V>600，o
i
表示第i幅瑕疵图像，和分别表示o
i
所包含瑕疵的类别标签和位置坐标标签，表示第u类瑕疵，U表示瑕疵类别标签的总数，U≥2，和分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高，将随机选取O中半数以上的瑕疵图像及其对应的类别标签和位置坐标标签组成训练样本集O
train
＝{o
j
|1≤j≤V
train
}，V/2＜V
train
≤V，将其余瑕疵图像及其对应的类别标签和位置坐标标签组成测试样本集，O
test
＝{o
l
|1≤l≤V
test
}，其中，o
j
表示训练样本集中的第j张瑕疵图像，o
l
表示训练样本集中的第l张瑕疵图像，V/2＜V
train
≤V，V
test
＝V
‑
V
train
。
[0014]进一步的，在步骤二中，构建基于注意力机制的多尺度YOLOv5模型时，先构建基于注意力机制的多尺度YOLOv5模型的结构，构建包括顺次连接的特征提取网络f
extract
、注意力网络f
attention
、输出网络f
output
；其中特征提取网络f
extract
包括输入层、多个卷积模块和多个残差模块；注意力网络f
attention
包括两个网络通道注意力网络f
CAM
和空间注意力网络f
SAM
，其中包括多个卷积层、池化层和激活函数；输出网络f
output
包括多个卷积层、多个归一化层和多个激活函数层，其中特征提取网络f
extract
用于初步提取图像中的高级特征，为排除微小瑕疵目标上的无关信息，然后利用卷积块注意力模块(CBAM)注意力网络f
attention
对通道特征具有强化重要信息，抑制微小瑕疵目标的其他位置以及背景的传送带的纹理信息等无关信息的作用，能够使得网络提取出更加关键的特征，从而提升检测精度；f
output
使输入图像经过特征网络和上采样以及拼接最终的搭配4个尺度的检测头，进一步提升网络对于微小车标瑕疵这类小目标的识别准确率，基于注意力机制的多尺度YOLOv5模型包括特征提取网络f
extract
、注意力网络f
attention
、输出网络f
output
，提取网络f
extract
采用包含和五个卷积模块和二十三个残差模块的卷积神经网络，其结构依次为：输入层
→
第一卷积模块第一残差模块
→
第二卷积模块
→
第二残差模块
→
第三残差模块
→
第三卷积模块
→
第四残差模块
→
第五残差模块
→
第六残差模块
→
第七残差模块
→
第八残差模块
→
第九残差模块
→
第十残差模块
→
第十一残差模块
→
第四卷积模块
→
第十二残差模块
→
第十三残差模块
→
第十四残差模块
→
第十五残差模块
→
第十六残差模块
→
第十七残差模块
→
第十八残差模块
→
第十九本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的多尺度微小瑕疵检测方法，其特征在于：该方法包括以下步骤：步骤一、获取训练样本集和测试样本集；步骤二、构建基于注意力机制的多尺度YOLOv5模型；步骤三、对基于注意力机制的多尺度YOLOv5模型网络进行迭代训练；步骤四、获取微小瑕疵目标缺陷图像的识别结果。2.根据权利要求1所述的基于注意力机制的多尺度微小瑕疵检测方法，其特征在于：在步骤一中，获取训练样本集和测试样本集时，获取V幅包含不同类别瑕疵的图像O＝{o
i
|1≤i≤V}，并对每幅瑕疵图像o
i
中的瑕疵类别及位置坐标进行标注，得到类别标签集和位置坐标标签集其中，V>600，o
i
表示第i幅瑕疵图像，和分别表示o
i
所包含瑕疵的类别标签和位置坐标标签，所包含瑕疵的类别标签和位置坐标标签，表示第u类瑕疵，U表示瑕疵类别标签的总数，U≥2，U≥2，和分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高。3.根据权利要求2所述的基于注意力机制的多尺度微小瑕疵检测方法，其特征在于：将随机选取O中半数以上的瑕疵图像及其对应的类别标签和位置坐标标签组成训练样本集O
train
＝{o
j
|1≤j≤V
train
}，V/2＜V
train
≤V，将其余瑕疵图像及其对应的类别标签和位置坐标标签组成测试样本集，O
test
＝{o
l
|1≤l≤V
test
}，其中，o
j
表示训练样本集中的第j张瑕疵图像，o
l
表示训练样本集中的第l张瑕疵图像，V/2＜V
train
≤V，V
test
＝V
‑
V
train
。4.根据权利要求3所述的基于注意力机制的多尺度微小瑕疵检测方法，其特征在于：在步骤二中，构建基于注意力机制的多尺度YOLOv5模型时，先构建基于注意力机制的多尺度YOLOv5模型的结构，构建包括顺次连接的特征提取网络f
extract
、注意力网络f
attention
、输出网络f
output
；其中特征提取网络f
extract
包括输入层、多个卷积模块和多个残差模块；注意力网络f
attention
包括两个网络通道注意力网络f
CAM
和空间注意力网络f
SAM
，其中包括多个卷积层、池化层和激活函数；输出网络f
output
包括多个卷积层、多个归一化层和多个激活函数层，其中特征提取网络f
extract
用于初步提取图像中的高级特征，为排除微小瑕疵目标上的无关信息，然后利用卷积块注意力模块(CBAM)注意力网络f
attention
对通道特征具有强化重要信息，抑制微小瑕疵目标的其他位置以及背景的传送带的纹理信息等无关信息的作用，能够使得网络提取出更加关键的特征，从而提升检测精度；f
output
使输入图像经过特征网络和上采样以及拼接最终的搭配4个尺度的检测头，进一步提升网络对于微小车标瑕疵这类小目标的识别准确率，基于注意力机制的多尺度YOLOv5模型包括特征提取网络f
extract
、注意力网络f
attention
、输出网络f
output
。5.根据权利要求4所述的基于注意力机制的多尺度微小瑕疵检测方法，其特征在于：提取网络f
extract
采用包含和五个卷积模块和二十三个残差模块的卷积神经网络，其结构依次为：输入层
→
第一卷积模块第一残差模块
→
第二卷积模块
→
第二残差模块
→
第三残差模块
→
第三卷积模块
→
第四残差模块
→
第五残差模块
→
第六残差模块
→
第七残差模块
→
第八残差模块
→
第九残差模块
→
第十残差模块
→
第十一残差模块
→
第四卷积模块
→
第十二残
差模块
→
第十三残差模块
→
第十四残差模块
→
第十五残差模块
→
第十六残差模块
→
第十七残差模块
→
第十八残差模块
→
第十九残差模块
→
第五卷积模块
→
第二十残差模块
→
第二十一残差模块
→
第二十二残差模块
→
第二十三残差模块。6.根据权利要求5所述的基于注意力机制的多尺度微小瑕疵检测方法，其特征在于：卷积模块的具体结构依次为：第一卷积层
→
第一归一化层
→
第一激活函数层，残差模块的具体结构依次为：第一卷积模块
→
第二卷积模块
→
shortcut拼接层，特征提取网络f
extract
的每层参数设置为：将第一至第五卷积模块中的第一卷积层的卷积核大小设置为3
×
3，卷积步长设置为2，填充值为1，将第一至第二十三残差模块中第一卷积模块的第一卷积层的卷积核大小设置为1
×
1，卷积步长设置为1，填充值为0，将第二卷积模块的第一卷积层积核大小设置为3
×
3，卷积步长设置为1，填充值为1；第一至第五卷积模块和第一至第二十三残差模块中的归一化层均采用BatchNorm2d函数，第一至第五卷积模块和第一至第二十三残差模块中的激活函数层均采用LeakyReLU函数，其斜率均设置为0.2，卷积块注意力模块(CBAM)注意力网络f
attention
包含两个网络，通道注意力网络f
CAM
和空间注意力网络f
SAM
，其结构先手顺序为通道注意力网络和空间注意力网络，其中...

【专利技术属性】
技术研发人员：刘静，王奕卓，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：