基于注意力机制的工件缺陷检测方法、装置及存储介质制造方法及图纸

本发明专利技术涉及基于注意力机制的工件缺陷检测方法、装置及存储介质，应用于工件表面缺陷检测技术领域，包括：通过将待检测图像输入到特征提取网络骨架中，获取到待检测图像的特征图，将特征图输入到区域生成模块中，得到特征图的分类特征以及回归特征，通过引入注意力机制来进行特征提取，在减少计算量的同时，关注缺陷目标相关的有效特征，从而抑制复杂背景干扰，提升缺陷目标检测性能，最后将进行特征提取后的分类特征以及回归特征输入到双头检测模块中，获取分类特征的分类置信度以及回归特征的边界坐标，采用双头结构，更好地实现分类和回归任务，从而避免了现有技术中采用单一的全连接层或卷积层，导致回归与分类任务不能同时达到最优的问题。时达到最优的问题。时达到最优的问题。

【技术实现步骤摘要】
基于注意力机制的工件缺陷检测方法、装置及存储介质


[0001]本专利技术涉及工件表面缺陷检测
，具体涉及基于注意力机制的工件缺陷检测方法、装置及存储介质。

技术介绍

[0002]工件表面缺陷目标检测相关算法一般分为两类：一阶段算法（以YOLO为代表）和二阶段算法（以Faster RCNN为代表）。其中的二阶段算法往往需要完成回归和分类两个任务，很多经典的缺陷目标检测方法都选择在网络的最后添加全连接层或卷积层中的一种来完成回归以及分类任务，然而，对于缺陷目标检测模型，全连接层对缺陷目标的类别分类更有利，卷积层则对缺陷目标的边界框回归更有利，只采用其中一种会导致两种任务完成情况并不是最优的，使得缺陷检测的精确度偏低，此外，工件表面缺陷尺度变化多样，且复杂背景干扰严重，使得现有工件表面缺陷目标检测容易收到背景干扰。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供基于注意力机制的工件缺陷检测方法、装置及存储介质，以解决现有技术中，单独选择全连接层或卷积层会导致回归与分类两种任务完成情况并不是最优的，使得缺陷检测的精确度偏低的问题，同时解决工件表面缺陷尺度变化多样，且复杂背景干扰严重，使得现有工件表面缺陷目标检测容易收到背景干扰的问题。
[0004]根据本专利技术实施例的第一方面，提供基于注意力机制的工件缺陷检测方法，包括：将工件的待检测图像输入到特征提取网络中，获取到待检测图像的特征图；将特征图输入到区域生成模块中，区域生成模块对特征图的锚框进行晒选得到建议框，对建议框通过预设的交并比进行筛选得到第二特征图，将第二特征图作为特征图的分类特征，提取第二特征图的边界坐标，作为特征图的回归特征；对分类特征以及回归特征分别通过注意力堆叠模块进行特征提取；将进行特征提取后的分类特征以及回归特征输入到双头检测模块中，双头检测模块通过全连接层对分类特征进行处理得到分类置信度，通过对回归特征进行池化操作以及平移缩放操作获取回归特征的边界坐标；将分类置信度以及边界坐标进行融合得到待检测图像的缺陷检测结果。
[0005]优选地，所述将特征图输入到区域生成模块中，还包括：将获取到的待检测图像的特征图记为特征F1，将特征F1进行上采样得到特征F2，将特征F2进行上采样得到特征F3，重复上述步骤，将满足预设上采样次数的一次上采样得到的特征记为特征F
N
；将特征F1与特征F2进行融合并输入到区域生成模块中，将特征F2与特征F3进行融合并输入到区域生成模块中，重复上述步骤，直到将特征F
N
与特征F
N
‑1进行融合并输入到区域生成模块中，特征F
N
还将单独输入到区域生成模块中。
[0006]优选地，
所述将特征图输入到区域生成模块中，区域生成模块对特征图的锚框进行晒选得到建议框包括：区域生成模块通过1
×
1卷积在特征图上获取到特征图的每一个锚框中缺陷的预测得分以及预测偏移值，根据预测得分以及预测偏移值筛选出预设数量阈值的锚框，将筛选出的锚框作为建议框；所述对建议框通过预设的交并比进行筛选得到第二特征图，将第二特征图作为特征图的分类特征，提取第二特征图的边界坐标，作为特征图的回归特征包括：选取建议框中与缺陷图像的交并比大于0.5的作为正样本，选取建议框中与缺陷图像的交并比小于0.3的作为负样本；按照正样本与负样本的比例为1:3，交并比排名从高到低选取预设数量的建议框；将选取的建议框作为第二特征图，将第二特征图作为特征图的分类特征，提取第二特征图的边界坐标，作为特征图的回归特征。
[0007]优选地，所述对分类特征以及回归特征分别通过注意力堆叠模块进行特征提取包括：所述注意力堆叠模块由多个注意力模块堆叠构成；将分类特征或回归特征输入到注意力堆叠模块的最底层注意力模块中，注意力模块将分类特征或回归特征与自身的键值储存单元相乘得到注意力矩阵，再通过softmax函数对注意力矩阵的行进行标准化操作，通过L1范数对注意力矩阵的列进行标准化操作，得到标准注意力矩阵；注意力模块将标准注意力矩阵与自身的数值存储单元相乘并加上输入的分类特征或回归特征得到分类重构特征或回归重构特征；将分类重构特征或回归重构特征作为下一个注意力模块的输入，重复上述步骤，直到最后一个注意力模块输出分类重构特征或回归重构特征。
[0008]优选地，所述将进行特征提取后的分类特征通过全连接层对分类特征进行处理得到分类置信度包括：将注意力堆叠模块输出的分类重构特征输入到双头检测模块中；双头检测模块将分类重构特征拉伸为一维特征向量，利用两个全连接层来计算一维特征向量的分类置信度。
[0009]优选地，所述回归特征输入到双头检测模块中，双头检测模块通过对回归特征进行池化操作以及平移缩放操作获取回归特征的边界坐标包括：将注意力堆叠模块输出的回归重构特征输入到双头检测模块中；双头检测模块先通过四个连续的瓶颈层对回归重构特征进行过滤；对过滤后的回归重构特征先采用平均池化操作进行降维，再对降维后的回归重构特征的边界框分别进行平移操作和尺度缩放操作；联合平移操作以及尺度缩放操作后的边界框坐标，即为边界坐标。
[0010]根据本专利技术实施例的第二方面，提供基于注意力机制的工件缺陷检测装置，包括：特征图提取模块：用于将工件的待检测图像输入到特征提取网络中，获取到待检
测图像的特征图；特征分类模块：用于将特征图输入到区域生成模块中，区域生成模块对特征图的锚框进行晒选得到建议框，对建议框通过预设的交并比进行筛选得到第二特征图，将第二特征图作为特征图的分类特征，提取第二特征图的边界坐标，作为特征图的回归特征；特征提取模块：用于对分类特征以及回归特征分别通过注意力堆叠模块进行特征提取；预测模块：用于将进行特征提取后的分类特征以及回归特征输入到双头检测模块中，双头检测模块通过全连接层对分类特征进行处理得到分类置信度，通过对回归特征进行池化操作以及平移缩放操作获取回归特征的边界坐标；输出模块：用于将分类置信度以及边界坐标进行融合得到待检测图像的缺陷检测结果。
[0011]根据本专利技术实施例的第三方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现所述的上述方法中的各个步骤。
[0012]本专利技术的实施例提供的技术方案可以包括以下有益效果：本申请通过将待检测图像输入到特征提取网络骨架中，获取到待检测图像的特征图，将特征图输入到区域生成模块中，得到特征图的分类特征以及回归特征，通过引入注意力机制来进行特征提取，在减少计算量的同时，关注缺陷目标相关的有效特征，从而抑制复杂背景干扰，提升缺陷目标检测性能，最后将进行特征提取后的分类特征以及回归特征输入到双头检测模块中，获取分类特征的分类置信度以及回归特征的边界坐标，采用双头结构，更好地实现分类和回归任务，从而避免了现有技术中采用单一的全连接层或卷积层，导致回归与分类任务不能同时达到最优的问题。
[0013]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的工件缺陷检测方法，其特征在于，包括：将工件的待检测图像输入到特征提取网络中，获取到待检测图像的特征图；将特征图输入到区域生成模块中，区域生成模块对特征图的锚框进行晒选得到建议框，对建议框通过预设的交并比进行筛选得到第二特征图，将第二特征图作为特征图的分类特征，提取第二特征图的边界坐标，作为特征图的回归特征；对分类特征以及回归特征分别通过注意力堆叠模块进行特征提取；将进行特征提取后的分类特征以及回归特征输入到双头检测模块中，双头检测模块通过全连接层对分类特征进行处理得到分类置信度，通过对回归特征进行池化操作以及平移缩放操作获取回归特征的边界坐标；将分类置信度以及边界坐标进行融合得到待检测图像的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述将特征图输入到区域生成模块中，还包括：将获取到的待检测图像的特征图记为特征F1，将特征F1进行上采样得到特征F2，将特征F2进行上采样得到特征F3，重复上述步骤，将满足预设上采样次数的一次上采样得到的特征记为特征F
N
；将特征F1与特征F2进行融合并输入到区域生成模块中，将特征F2与特征F3进行融合并输入到区域生成模块中，重复上述步骤，直到将特征F
N
与特征F
N
‑1进行融合并输入到区域生成模块中，特征F
N
还将单独输入到区域生成模块中。3.根据权利要求2所述的方法，其特征在于，所述将特征图输入到区域生成模块中，区域生成模块对特征图的锚框进行晒选得到建议框包括：区域生成模块通过1
×
1卷积在特征图上获取到特征图的每一个锚框中缺陷的预测得分以及预测偏移值，根据预测得分以及预测偏移值筛选出预设数量阈值的锚框，将筛选出的锚框作为建议框；所述对建议框通过预设的交并比进行筛选得到第二特征图，将第二特征图作为特征图的分类特征，提取第二特征图的边界坐标，作为特征图的回归特征包括：选取建议框中与缺陷图像的交并比大于0.5的作为正样本，选取建议框中与缺陷图像的交并比小于0.3的作为负样本；按照正样本与负样本的比例为1:3，交并比排名从高到低选取预设数量的建议框；将选取的建议框作为第二特征图，将第二特征图作为特征图的分类特征，提取第二特征图的边界坐标，作为特征图的回归特征。4.根据权利要求1所述的方法，其特征在于，所述对分类特征以及回归特征分别通过注意力堆叠模块进行特征提取包括：所述注意力堆叠模块由多个注意力模块构成；将分类特征或...

【专利技术属性】
技术研发人员：李朋超，杨庆泰，籍吉川，
申请(专利权)人：北京矩视智能科技有限公司，
类型：发明
国别省市：