一种基于视觉注意模型的表面缺陷检测方法技术

本发明专利技术公开了一种基于视觉注意模型的表面缺陷检测方法，包括如下步骤：S1、将有缺陷图像和无缺陷图像成对输入构建的视觉注意模型中进行模型训练，训练的目标是训练样本的缺陷位置的权重向量低于其他位置的权重向量，转至S2；S2、将待检测图像输入训练好的视觉注意模型中，训练好的视觉注意模型输出待检测图像的视觉显著图，视觉显著图中高注意力部分即为存在缺陷部分。本发明专利技术公开的基于视觉注意模型的表面缺陷检测方法，对训练样本的缺陷位置进行弱化，注意力越高的地方，其权重越低，最终输出的视觉显著图的高注意力部分即为有缺陷位置。

【技术实现步骤摘要】
一种基于视觉注意模型的表面缺陷检测方法
本专利技术属于表面缺陷检测
，具体涉及一种基于视觉注意模型的表面缺陷检测方法。
技术介绍
表面缺陷检测中，被检物表面很大程度上会受到纹理信息和颜色信息的干扰。这种情形下进行缺陷检测的难度大大增加。在工业应用中，多纹理多色物体出现的频率要远大于素色被检物，因此多色物检测系统具有广阔的应用前景。织物纹理结构整体以规律性呈现，局部纹理被破坏而导致的不规律性就是检测瑕疵要提取的重要特征信息。基于统计的方法是对出现的所有特征用统计学的方式进行推进，常用的检测算法有：共生矩阵，数学形态学，直方图统计，自相关函数等等。一幅图像的随机模型是由一组随机变量函数组成的，通常图像的处理过程中的随机建模可分为三种：协方差、一维和二维。在检测过程中，模型的选取以及模型参数的计算是核心点，可通过三个步骤完成：首先判断要作为下一个样本的织物纹理是否与某种模型相匹配，其次，运用参照的标准织物模板计算出模型的参数，最后利用假设检验方法判断待测样本图像是否满足该参数下建立的模型。常用的检测方法有：分形学，自回归模型，泊松分布模型，Markov随机场。织物疵点检测若在空间域分析复杂，则可利用频域分析加快速度并保留足够的必要信息。例如：傅里叶变换是由傅里叶级数推演出来的，它具有平移不变性，在克服空间域的噪声敏感性和表征织物周期性方面也具有很好的表现力。实际的纺织品在纹理结构上往往不如人们理论分析中的那么有规律，所以它的局部。
技术实现思路
本专利技术的目的在于提供一种基于视觉注意模型的表面缺陷检测方法，对多纹理多色的织物缺陷能够取得好的检测效果。为实现上述目的，本专利技术提供以下的技术方案：一种基于视觉注意模型的表面缺陷检测方法，包括如下步骤：S1、构建视觉注意模型，将获取的有缺陷图像和无缺陷图像构建为训练样本，转至S2和S3；S2、将有缺陷图像和无缺陷图像成对输入卷积神经网络中，输出有缺陷图像和无缺陷图像各自的特征向量M，维度m*h*w，m,h,w分别表示特征向量三个方向维度的大小，转至S4；S3、将有缺陷图像和无缺陷图像成对输入自编码器，输出有缺陷图像和其无缺陷图像各自的权重向量α，维度1*m，m表示权重向量第二个维度的大小，转至S4；S4、采用如下公式将缺陷图像和其无缺陷图像各自的权重向量α分别进行转置αΤ后与各自的特征向量M相乘，得到有缺陷图像和其无缺陷图像各自的权重矩阵S，S＝h(M,αΤ)，其中，S＝h()表示M,αΤ的点乘运算，S维度为1*w*h，w，h分别表示权重矩阵第二和第三个维度的大小，转至S5；S5、采用如下公式将有缺陷图像和无缺陷图像各自的权重矩阵S进行归一化操作，得到有缺陷图像和其无缺陷图像各自的归一化权重矩阵S*，S*点的坐标为(i,j)，i为行坐标，j为列坐标，(i,j)像素值用ωi,j表示；其中，λ为缩放系数，expω(i,j)表示对ω(i,j)的指数运算，转至S6；S6、通过有缺陷图像的归一化权重矩阵S*分配训练样本的缺陷位置的权重向量α，对训练样本的缺陷位置进行弱化，训练样本的缺陷位置的权重向量低于训练样本的其余位置的权重向量，注意力越高的地方，其权重向量越低，对视觉注意模型进行优化，获得训练好的视觉注意模型；S7、将待检测图像输入训练好的视觉注意模型中，输出待检测图像的视觉显著图，视觉显著图中高注意力部分即为存在缺陷部分。进一步的，S6包括如下步骤：S6.1、分别获取有缺陷图像和无缺陷图像各自的三通道R,G,B灰度图，依据实际情形选取灰度区间数量n；R通道中，灰度最大值:GXR，区间距离DR定义为取整GXR/n：DR＝[GXR/n]，第k灰度区间为[k*DR,(k+1)*DR],k∈{0,1,L,n-1}，对第k灰度区间进行分割，得到二值图，将二值图转为01矩阵，则有缺陷图像的01矩阵为：无缺陷图像的01矩阵：G通道中，灰度最大值为GXG，区间距离定义DG为取整GXG/n：DG＝[GXG/n]，第k灰度区间为[k*DG,(k+1)*DG],k∈{0,1......,n-1}，对第k灰度区间进行分割，得到二值图，将二值图转为01矩阵，则有缺陷图像的01矩阵为：无缺陷图像的01矩阵：B通道中，灰度最大值为GXB，区间距离DB定义为取整GXB/n：DB＝[GXB/n]，第k灰度区间为[k*DB,(k+1)*DB],k∈{0,1......,n-1}，对第k灰度区间进行分割，得到二值图，将二值图转为01矩阵，则有缺陷图像的01矩阵为：无缺陷图像的01矩阵：S6.2、通过如下公式对有缺陷图像Ing与无缺陷图像Iok在第k区间上的距离进行计算：其中，Ing表示有缺陷图像，Iok无缺陷图像，(i,j)代表图像矩阵的像素点坐标；表示彩色图某个像素点三通道的距离。S6.3、通过如下公式对有缺陷图像与无缺陷图像的范数距离进行计算：其中，σ表示缩放系数，表示无缺陷图像(i,j)坐标经归一化后的像素值；S6.4、将所述范数距离通过损失函数反馈给所述视觉注意模型，所述视觉注意模型判断所述范数距离是否已经达到设定值，如达到，则停止模型训练，如未达到，则继续模型训练。进一步的，采用彩色工业相机对已检测有缺陷表面进行图像采集以获得有缺陷图像、对已检测无缺陷表面进行图像采集以获得无缺陷图像、对未检测表面进行图像采集以获得待检测图像。首先，模型训练的目标也就是模型具有最佳检测能力的时候，输入存在缺陷的图像，能够在缺陷位置处存在注意力，注意力效果图上缺陷位置与正常位置明显不同。正常图像中模型没有明显对于某一区域的注意力。在深度学习中通过设计相应的损失函数来进行模型训练的控制。指导模型进行学习的方向。本专利技术中最终的范数距离即为损失函数，用来指导模型的训练，损失函数越小，说明模型训练的效果越好，在学习的过程中，学习目标即为使得损失函数小。明显的，本专利技术中的损失函数的范数距离即为NG图(有缺陷图像)与OK图(无缺陷图像)之间的图像距离。中，NG图缺陷区域应与OK图相对应的区域存在很大的距离，而NG图无缺陷区域与OK图相应位置距离微小。此时，归一化模板S*中Wi,j作用就显现出来了，要想使得尽可能小，就需要在缺陷区域处的Wi,j足够小才行。因此损失函数的指导作用就在S*中体现出来了，那就是缺陷位置处的Wi,j比无缺陷位置处的要小很多。也就形成了注意力权重。由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：本专利技术公开的基于视觉注意模型的表面缺陷检测方法，对训练样本的缺陷位置进行弱化，注意力越高的地方，其权重越低，最终输出的视觉显著图的高注意力部分即为有缺陷位置。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本专利技术公开的基于视觉注意模型的网络结构图；图2分别为彩色织物的无缺陷图像、无缺陷图像本文档来自技高网...

【技术保护点】
1.一种基于视觉注意模型的表面缺陷检测方法，其特征在于，包括如下步骤：/nS1、构建视觉注意模型，将获取的有缺陷图像和无缺陷图像构建为训练样本，转至S2和S3；/nS2、将有缺陷图像和无缺陷图像成对输入卷积神经网络中，输出有缺陷图像和无缺陷图像各自的特征向量M，维度m*h*w，m,h,w分别表示特征向量三个方向维度的大小，转至S4；/nS3、将有缺陷图像和无缺陷图像成对输入自编码器，输出有缺陷图像和其无缺陷图像各自的权重向量α，维度1*m，m表示权重向量第二个维度的大小，转至S4；/nS4、采用如下公式将缺陷图像和其无缺陷图像各自的权重向量α分别进行转置α

【技术特征摘要】
1.一种基于视觉注意模型的表面缺陷检测方法，其特征在于，包括如下步骤：
S1、构建视觉注意模型，将获取的有缺陷图像和无缺陷图像构建为训练样本，转至S2和S3；
S2、将有缺陷图像和无缺陷图像成对输入卷积神经网络中，输出有缺陷图像和无缺陷图像各自的特征向量M，维度m*h*w，m,h,w分别表示特征向量三个方向维度的大小，转至S4；
S3、将有缺陷图像和无缺陷图像成对输入自编码器，输出有缺陷图像和其无缺陷图像各自的权重向量α，维度1*m，m表示权重向量第二个维度的大小，转至S4；
S4、采用如下公式将缺陷图像和其无缺陷图像各自的权重向量α分别进行转置αΤ后与各自的特征向量M相乘，得到有缺陷图像和其无缺陷图像各自的权重矩阵S，S＝h(M,αΤ)，其中，S＝h()表示M,αΤ的点乘运算，S维度为1*w*h，w，h分别表示权重矩阵第二和第三个维度的大小，转至S5；
S5、采用如下公式将有缺陷图像和无缺陷图像各自的权重矩阵S进行归一化操作，得到有缺陷图像和其无缺陷图像各自的归一化权重矩阵S*，S*点的坐标为(i,j)，i为行坐标，j为列坐标，(i,j)像素值用ωi,j表示；其中，λ为缩放系数，expω(i,j)表示对ω(i,j)的指数运算，转至S6；
S6、通过有缺陷图像的归一化权重矩阵S*分配训练样本的缺陷位置的权重向量α，对训练样本的缺陷位置进行弱化，训练样本的缺陷位置的权重向量低于训练样本的其余位置的权重向量，注意力越高的地方，其权重向量越低，对视觉注意模型进行优化，获得训练好的视觉注意模型；
S7、将待检测图像输入训练好的视觉注意模型中，输出待检测图像的视觉显著图，视觉显著图中高注意力部分即为存在缺陷部分。


2.如权利要求1所述的基于视觉注意模型的表面缺陷检...

【专利技术属性】
技术研发人员：林嵩，孙立宁，何志勇，钱森，刘旭华，孙羽，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23