视觉注意力网络及工件表面缺陷检测方法技术

为解决现有非接触无损工件缺陷检测识别准确率低、检测效果较差、已被图像非缺陷位置信息所掩盖的技术问题，本发明专利技术提供了一种视觉注意力网络及工件表面缺陷检测方法，在卷积神经网络模型作为工件分类网络的基础上，加入视觉注意力模块，通过视觉注意力模块生成的软注意力模板提取特征图中的重要特征，进而提升了CNN模型对具有表面缺陷的工件的识别准确率。

【技术实现步骤摘要】
视觉注意力网络及工件表面缺陷检测方法
本专利技术属于深度学习、机器视觉领域，涉及一种视觉注意力网络及基于该视觉注意力网络的工件表面缺陷检测方法，能提升对工件表面缺陷的检测识别准确率。
技术介绍
工件在工业生产线上铸造的过程中，由于生产工艺等问题会导致部分工件存在表面缺陷，如破损和划痕。这些有缺陷的工件会直接影响到后续使用和加工的安全性，因此对工件的缺陷检测是现代化大生产中必不可少的环节。传统的工件缺陷检测通常由人工完成，人工进行工件缺陷检测容易受到个人主观经验、注意力以及外界环境等因素的影响。同时，人工方式对高速移动或微小缺陷的工件进行检测时很容易出现误检和漏检。因此，非接触无损的工件缺陷检测对现代工业生产具有重要的意义。现有的非接触无损工件缺陷检测，主要是包括以下几种方式：1、红外检测、漏磁检测和涡流检测；这些检测方法存在检测速度慢、无法准确分类、容易产生能源浪费等问题。2、基于机器视觉的表面缺陷检测；由于工件种类的多样性，设计一个鲁棒性好、通用性强的缺陷检测算法是一个非常具有挑战性的问题，通常不易实现。3、基于卷积神经网络的表面缺陷检测；当工件表面出现微小缺陷，如划痕缺陷，此时缺陷检测的效果较差，因为微小缺陷占整幅图像空间比例太小，容易被图像其他位置的信息所掩盖。
技术实现思路
为解决现有非接触无损工件缺陷检测识别准确率低、效率低、检测效果较差、易被图像非缺陷位置信息所掩盖的技术问题，本专利技术提供了一种视觉注意力网络及工件表面缺陷检测方法，在卷积神经网络(CNN)模型作为工件分类网络的基础上，加入视觉注意力模块，通过视觉注意力模块生成的软注意力模板提取特征图中的重要特征，进而提升了CNN模型对具有表面缺陷的工件的识别准确率。本专利技术的技术方案是：视觉注意力网络，其特殊之处在于：包括依次连接的至少一个图像特征处理单元、一个全局平均池化层和一个softmax分类器；单个图像特征处理单元包括一个卷积模块一、至少一个卷积模块二、一个注意力模块和一个乘法模块；单个图像特征处理单元中卷积模块二为一个时，卷积模块二与注意力模块并行设置；卷积模块一的输出作为注意力模块与卷积模块二的输入，注意力模块与卷积模块二的输出作为乘法模块的输入；单个图像特征处理单元中卷积模块二为多个时，多个卷积模块二依次连接后，与注意力模块并行设置；卷积模块一的输出作为注意力模块与首个卷积模块二的输入，注意力模块与最后一个卷积模块二的输出作为乘法模块的输入；卷积模块一用于对其接收的图像进行卷积处理提取特征，且卷积模块一输出的特征图尺寸为其所接收图像的二分之一；卷积模块二用于对接收到的特征图进行卷积处理提取特征，且卷积模块二输出的特征图尺寸与其接收到的特征图尺寸相同。进一步地，所述卷积模块一包括并行的两个支路，其中一个支路上依次设置有第一卷积核、第二卷积核和第三卷积核；第一卷积核用于对卷积模块一接收的图像进行处理，第一卷积核输出的特征图通道数小于卷积模块一最终输出特征图的通道数；第二卷积核用于对第一卷积核输出的特征图进行处理，第二卷积核输出的特征图尺寸为卷积模块一接收图像尺寸的二分之一；第三卷积核用于对第二卷积核输出的特征图进行处理，第三卷积核输出的特征图通道数与卷积模块一最终输出特征图通道数相同；另一个支路上设置有第四卷积核；第四卷积核用于对卷积模块一接收的图像进行处理，第四卷积核输出的特征图尺寸、通道数与第三卷积核输出的特征图尺寸、通道数相同；第四卷积核输出的特征图与第三卷积核输出的特征图通过加法器叠加后，作为卷积模块一的输出。进一步地，第一卷积核的尺寸为1×1，卷积操作步长为1，第一卷积核输出的特征图通道数为卷积模块一最终输出特征图通道数的四分之一；第二卷积核的尺寸为3×3，卷积操作步长为2；第三卷积核的尺寸为1×1，卷积操作步长为1；第四卷积核尺寸为1×1，卷积操作步长为2。进一步地，所述卷积模块二包括并行的两个支路，其中一个支路上依次设置有第五卷积核、第六卷积核和第七卷积核；第五卷积核用于对卷积模块二接收的图像进行处理，第五卷积核的卷积操作步长为1，输出的特征图通道数小于卷积模块二最终输出特征图通道数；第六卷积核用于对第五卷积核输出的特征图进行处理，第六卷积核的卷积操作步长为1，输出的特征图尺寸为卷积模块一接收图像尺寸的二分之一；第七卷积核用于对第六卷积核输出的特征图进行处理，第七卷积核的卷积操作步长为1，输出的特征图通道数与卷积模块二最终输出特征图通道数相同；另一个支路上设置有第八卷积核，其卷积操作步长为1；第八卷积核用于对卷积模块二接收的图像进行处理，第八卷积核输出的特征图尺寸、通道数与第七卷积核输出的特征图尺寸、通道数相同；第八卷积核输出的特征图与第七卷积核输出的特征图通过加法器叠加后，作为卷积模块二的输出；卷积模块二最终输出的特征图尺寸、通道数与卷积模块一最终输出的特征图尺寸、通道数相同。进一步地，第五卷积核的尺寸为1×1，输出的特征图通道数为卷积模块二最终输出特征图通道数的四分之一；第六卷积核的尺寸为3×3；第七卷积核的尺寸为1×1；第八卷积核的尺寸为1×1。进一步地，图像特征处理单元有三个，沿数据流向依次记为第一图像特征处理单元、第二图像特征处理单元和第三图像特征处理单元；第一、二、三图像特征处理单元的结构相同、参数不同；所述参数不同具体为：第一图像特征处理单元中：第一、二、五、六卷积核的数目均为8个；第三、四、七、八卷积核的数目均为32个；第二图像特征处理单元中：第一、二、五、六卷积核的数目均为16个；第三、四、七、八卷积核的数目均为64个；第三图像特征处理单元中：第一、二、五、六卷积核的数目均为2个；第三、四、七、八卷积核的数目均为10个。进一步地，所述注意力模块包括用于将输入图像转化为特征图像的编码器，以及用于将特征图像转化为目标输出的解码器。进一步地，所述编码器为依次连接的两组卷积模块三；解码器为两层依次连接的反卷积层。本专利技术同时提供了一种基于视觉注意力网络的工件表面缺陷检测方法，其特殊之处在于，包括以下步骤：步骤1，构建上述任一方案中所述的视觉注意力网络；步骤2，训练所述视觉注意力网络；步骤3，使用训练好的视觉注意力网络对工件进行表面缺陷检测，输出检测结果。进一步地，步骤2具体为：首先构建带有缺陷类别标签的工件数据集，然后采用adam优化器和交叉熵损失函数，利用梯度下降法对视觉注意力网络进行训练。与现有技术相比，本专利技术具有如下有益效果：1、本专利技术利用注意力模块生成软注意力模板，通过将软注意力模板与CNN网络中的特征图相乘，为特征图进行加权，使特征图中重要特征的权值更高，实现筛选特征图中有效特征的作用，进而提高了工件缺陷检测识别的准确率。2、本专利技术的CNN网络省去了全连接层，简化了训练网络的参数数量。3、本专利技术的视觉注意力网络应用范围广，能够用于检测物体表面缺陷，尤其适用于微小缺陷检测，例如瓷砖表面的破损与裂纹等缺陷的检测、钢轨表面裂纹与破损等缺陷的检测、工件表面缺陷检测等。附图说明图1是本专利技术视觉注意力网络实施例的整体结构框图；图2是本专利技术卷积模块一实施例的原理框图；图3是本专利技术卷积模块二实施例的原理框图；图4是本专利技术采用编码-解码结构构建的注意力模块示意图；图5是本专利技术注意力模块实施例的结构框图。具体实施方本文档来自技高网...

【技术保护点】
1.视觉注意力网络，其特征在于：包括依次连接的至少一个图像特征处理单元、一个全局平均池化层和一个softmax分类器；单个图像特征处理单元包括一个卷积模块一、至少一个卷积模块二、一个注意力模块和一个乘法模块；单个图像特征处理单元中卷积模块二为一个时，卷积模块二与注意力模块并行设置；卷积模块一的输出作为注意力模块与卷积模块二的输入，注意力模块与卷积模块二的输出作为乘法模块的输入；单个图像特征处理单元中卷积模块二为多个时，多个卷积模块二依次连接后，与注意力模块并行设置；卷积模块一的输出作为注意力模块与首个卷积模块二的输入，注意力模块与最后一个卷积模块二的输出作为乘法模块的输入；卷积模块一用于对其接收的图像进行卷积处理提取特征，且卷积模块一输出的特征图尺寸为其所接收图像的二分之一；卷积模块二用于对接收到的特征图进行卷积处理提取特征，且卷积模块二输出的特征图尺寸与其接收到的特征图尺寸相同。

【技术特征摘要】
1.视觉注意力网络，其特征在于：包括依次连接的至少一个图像特征处理单元、一个全局平均池化层和一个softmax分类器；单个图像特征处理单元包括一个卷积模块一、至少一个卷积模块二、一个注意力模块和一个乘法模块；单个图像特征处理单元中卷积模块二为一个时，卷积模块二与注意力模块并行设置；卷积模块一的输出作为注意力模块与卷积模块二的输入，注意力模块与卷积模块二的输出作为乘法模块的输入；单个图像特征处理单元中卷积模块二为多个时，多个卷积模块二依次连接后，与注意力模块并行设置；卷积模块一的输出作为注意力模块与首个卷积模块二的输入，注意力模块与最后一个卷积模块二的输出作为乘法模块的输入；卷积模块一用于对其接收的图像进行卷积处理提取特征，且卷积模块一输出的特征图尺寸为其所接收图像的二分之一；卷积模块二用于对接收到的特征图进行卷积处理提取特征，且卷积模块二输出的特征图尺寸与其接收到的特征图尺寸相同。2.根据权利要求1所述的视觉注意力网络，其特征在于：所述卷积模块一包括并行的两个支路，其中一个支路上依次设置有第一卷积核、第二卷积核和第三卷积核；第一卷积核用于对卷积模块一接收的图像进行处理，第一卷积核输出的特征图通道数小于卷积模块一最终输出特征图的通道数；第二卷积核用于对第一卷积核输出的特征图进行处理，第二卷积核输出的特征图尺寸为卷积模块一接收图像尺寸的二分之一；第三卷积核用于对第二卷积核输出的特征图进行处理，第三卷积核输出的特征图通道数与卷积模块一最终输出特征图通道数相同；另一个支路上设置有第四卷积核；第四卷积核用于对卷积模块一接收的图像进行处理，第四卷积核输出的特征图尺寸、通道数与第三卷积核输出的特征图尺寸、通道数相同；第四卷积核输出的特征图与第三卷积核输出的特征图通过加法器叠加后，作为卷积模块一的输出。3.根据权利要求2所述的视觉注意力网络，其特征在于：第一卷积核的尺寸为1×1，卷积操作步长为1，第一卷积核输出的特征图通道数为卷积模块一最终输出特征图通道数的四分之一；第二卷积核的尺寸为3×3，卷积操作步长为2；第三卷积核的尺寸为1×1，卷积操作步长为1；第四卷积核的尺寸为1×1，卷积操作步长为2。4.根据权利要求1-3任一所述的视觉注意力网络，其特征在于：所述卷积模块二包括并行的两个支路，其中一个支路上依次设置有第五卷积核、第六卷积核和第七卷积核；第五卷积核用于对卷积模块二接收的图像进行处理，第五卷积核的卷积操作步长为1，输出的特征图通道数小于卷积模块二最终输出特...

【专利技术属性】
技术研发人员：徐一丁，张霞，曾泽沧，张丽果，王一鸣，郑慧娟，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西,61