基于多级联目标检测模型的缺陷检测方法、装置及设备制造方法及图纸

本发明专利技术提供一种基于多级联目标检测模型的缺陷检测方法、装置及设备，其中，方法包括：采集与待测图像处于同一系列且具有不同纹理的无缺陷样本图像，构建负样本集；基于比较器提取样本图像和待测图像的样本特征向量和待测特征向量，并计算二者的距离，将距离最小值对应的样本图像作为参比图像；通过缺陷检测器检测待测图像，得到缺陷图像，在参比图像上框定与缺陷图像对应的放大区域，采用模板匹配方法在放大区域中检索目标参比图像；将缺陷图像与目标参比图像输入至判别器，基于判别器计算二者的目标相似度，并根据其与预设的相似度阈值之间的关系，得到缺陷判别结果。本发明专利技术能够避免纹理对缺陷检测的干扰，从而提高缺陷检测的准确率。的准确率。的准确率。

【技术实现步骤摘要】
基于多级联目标检测模型的缺陷检测方法、装置及设备


[0001]本专利技术涉及缺陷检测
，尤其涉及一种基于多级联目标检测模型的缺陷检测方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在机器视觉应用领域，特别是在工业产品表面缺陷检测细分领域，应对复杂背景下多尺度、多形态的缺陷检测，往往采用深度卷积神经网络(Deep Convolution Neural Networks，DCNNs)模型的算法具有较好的实用效果。由于缺陷类型和缺陷出现的背景纹理变化多样，要求在复杂变化多样的背景下检测出缺陷是一项具有巨大挑战的工作。通常为了保证算法模型对缺陷的高检出率，同时会带来大量的误检，使得算法模型对缺陷的检测准确率大大降低，这对于将这一技术用于工业现场产品的在线检测是巨大的瓶颈，阻碍了将整套视觉检测技术应用到工业实际场景的步伐。因此，推动机器视觉技术在工业产品表面质量在线检测领域有效应用，获得一种基于多级联目标检测模型提升缺陷检测准确率的方法，是具有重要实用意义和经济价值。
[0003]针对产品表面缺陷种类多、背景纹理复杂多变的缺陷检测场景，传统视觉检测算法仅仅适用于基于预先人为设计的缺陷特征进行检测，对不同的缺陷需设计不同特征表示，其难度和效果都不如人意。这样的方法过于依赖于人为对缺陷特征设计及表征，存在普适性差，泛化能力不足的缺点，缺陷检测的准确率和召回率的平衡控制仍无法满足实际生产需求。采用当下最流行的DCNNs模型，结合大量的数据集训练，可以得到对各种缺陷泛化能力很强的算法，使得只要是疑似缺陷，就可以通过算法将其召回，这样确保了算法的高检出率。然而，也会带来一些误检，特别是当缺陷形态和背景纹理特征十分相似时，将背景误检成缺陷的可能性增大，结果就是误报警和误分类增多，企业成本不降反升。生产制造企业是否愿意用视觉自动检测技术替代人工检测，主要取决缺陷检测算法的准确性，是否能达到或超过人工目视检测的精度，即时能检测出肉眼可见或不可见的缺陷；另外，人工检测时缺陷漏检率高但误检率相对很低，要求自动检测技术能具备较高的缺陷检出率，同时确保较低的误检率，也即是确保缺陷检测的准确率高。
[0004]因此，提升缺陷检测模型在变化复杂纹理背景上的缺陷检测准确率是亟需解决的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种基于多级联目标检测模型的缺陷检测方法、装置、电子设备及计算机可读存储介质。
[0006]一种基于多级联目标检测模型的缺陷检测方法，包括以下步骤：获取待测图像，采集与所述待测图像处于同一系列且具有不同纹理的无缺陷样本图像，构建得到负样本集；基于比较器提取所述样本图像和待测图像的特征向量，分别得到样本特征向量和待测特征向量，并计算所述待测特征向量与所有样本特征向量的距离，比较得到距离最小值对应的
样本特征向量，将对应的样本图像作为参比图像；通过缺陷检测器检测所述待测图像，得到缺陷图像，在所述参比图像上框定与所述缺陷图像对应的放大区域，采用模板匹配方法在所述放大区域中检索得到与所述缺陷图像匹配度最高的目标参比图像；将所述缺陷图像与所述目标参比图像输入至判别器，基于所述判别器的特征提取和距离度量计算二者的目标相似度，并根据所述目标相似度与预设的相似度阈值之间的关系，得到缺陷判别结果。
[0007]在其中一个实施例中，所述比较器为基于VGG16网络改进的网络结构，包括依次设置的5个卷积池化模块、FC1
‑
25088和FC2
‑
1024。
[0008]在其中一个实施例中，所述计算所述待测特征向量与所有样本特征向量的距离，比较得到距离最小值对应的样本特征向量，将对应的样本图像作为参比图像，包括：采用皮尔逊相关系数法计算所述待测特征向量与所有样本特征向量的距离，公式为：
[0009][0010]式中，V
det
(β
i
)为待测特征向量，为样本特征向量，n为特征向量维数，k为负样本集数量，且有：
[0011][0012][0013]根据公式(1)得到所述待测特征向量和样本特征向量的距离，为：
[0014][0015]式中，距离Dis∈[0,2]，距离越小表示相似度越高，距离越大表示相似度越低；根据计算出的距离比较得到距离最小值对应的样本特征向量，并将对应的样本图像作为参比图像。
[0016]在其中一个实施例中，在所述参比图像上框定与所述缺陷图像对应的放大区域，采用模板匹配方法在所述放大区域中检索得到与所述缺陷图像匹配度最高的目标参比图像，包括：采用Faster
‑
RCNN模型对所述待测图像进行检测，得到矩形框标注下的缺陷图像；获取所述缺陷图像中位于对角线上的两个端点，并根据所述两个端点在所述参比图像中获取对应的参比端点，以两个参比端点的中点为基准将矩形框长宽放大至预设倍数，得到放大区域；将所述缺陷图像作为模板，在所述放大区域中进行检索，并采用相关系数匹配方法得到与所述缺陷图像相关系数最大的矩形框图像，作为目标参比图像。
[0017]在其中一个实施例中，所述将所述缺陷图像与所述目标参比图像输入至判别器，包括：基于深度度量学习构建判别器，对所述缺陷图像和目标参比图像进行预处理，并输入至所述判别器；在所述判别器中，融合Arc
‑
margin函数和交叉熵损失函数，得到总损失函数为：
[0018]L
tol
＝αL
ce
+βL
arc
ꢀꢀ
(3)
[0019]式中，α和β分别为Arc
‑
margin函数和交叉熵损失函数的权重，L
ce
和L
arc
分别表示为：
[0020][0021][0022]根据公式(3)、(4)和(5)，得到：
[0023][0024]式中，N为单次传输至判别器用以训练的样本数量，n为类别数，y
i
为第i个样本的类别标签，x
i
为第i个样本的特征向量，b
j
和b
yj
分别为偏差项，w
yi
和w
j
分别为权重W的第y
i
列和第j列，s为超球体的半径，θ
yi
和θ
j
分别为权重w
yi
和w
j
与特征向量x
i
的夹角，m为θ
yi
与x
i
之间附加的角度惩罚因子。
[0025]在其中一个实施例中，所述基于所述判别器的特征提取和距离度量计算二者的目标相似度，并根据所述目标相似度与预设的相似度阈值之间的关系，得到缺陷判别结果，包括：根据判别器输出所述缺陷图像和目标参比图像的特征向量，采用夹角余弦距离进行计算得到所述特征向量之间的余弦距离，即目标相似度为：
[0026][0027]式中，D
cos
∈[0,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级联目标检测模型的缺陷检测方法，其特征在于，包括以下步骤：获取待测图像，采集与所述待测图像处于同一系列且具有不同纹理的无缺陷样本图像，构建得到负样本集；基于比较器提取所述样本图像和待测图像的特征向量，分别得到样本特征向量和待测特征向量，并计算所述待测特征向量与所有样本特征向量的距离，比较得到距离最小值对应的样本特征向量，将对应的样本图像作为参比图像；通过缺陷检测器检测所述待测图像，得到缺陷图像，在所述参比图像上框定与所述缺陷图像对应的放大区域，采用模板匹配方法在所述放大区域中检索得到与所述缺陷图像匹配度最高的目标参比图像；将所述缺陷图像与所述目标参比图像输入至判别器，基于所述判别器的特征提取和距离度量计算二者的目标相似度，并根据所述目标相似度与预设的相似度阈值之间的关系，得到缺陷判别结果。2.根据权利要求1所述的基于多级联目标检测模型的缺陷检测方法，其特征在于，所述比较器为基于VGG16网络改进的网络结构，包括依次设置的5个卷积池化模块、FC1
‑
25088和FC2
‑
1024。3.根据权利要求1所述的基于多级联目标检测模型的缺陷检测方法，其特征在于，所述计算所述待测特征向量与所有样本特征向量的距离，比较得到距离最小值对应的样本特征向量，将对应的样本图像作为参比图像，包括：采用皮尔逊相关系数法计算所述待测特征向量与所有样本特征向量的距离，公式为：式中，V
det
(β
i
)为待测特征向量，为样本特征向量，n为特征向量维数，k为负样本集数量，且有：集数量，且有：根据公式(1)得到所述待测特征向量和样本特征向量的距离，为：式中，距离Dis∈[0,2]，距离越小表示相似度越高，距离越大表示相似度越低；根据计算出的距离比较得到距离最小值对应的样本特征向量，并将对应的样本图像作为参比图像。4.根据权利要求1所述的基于多级联目标检测模型的缺陷检测方法，其特征在于，所述通过缺陷检测器检测所述待测图像，得到缺陷图像，在所述参比图像上框定与所述缺陷图像对应的放大区域，采用模板匹配方法在所述放大区域中检索得到与所述缺陷图像匹配度
最高的目标参比图像，包括：采用Faster
‑
RCNN模型对所述待测图像进行检测，得到矩形框标注下的缺陷图像；获取所述缺陷图像中位于对角线上的两个端点，并根据所述两个端点在所述参比图像中获取对应的参比端点，以两个参比端点的中点为基准将矩形框长宽放大至预设倍数，得到放大区域；将所述缺陷图像作为模板，在所述放大区域中进行检索，并采用相关系数匹配方法得到与所述缺陷图像相关系数最大的矩形框图像，作为目标参比图像。5.根据权利要求3所述的基于多级联目标检测模型的缺陷检测方法，其特征在于，所述将所述缺陷图像与所述目标参比图像输入至判别器，包括：基于深度度量学习构建判别器，对所述缺陷图像和目标参比图像进行预处理，并输入至所述判别器；在所述判别器中，融合Arc
‑
margin函数和交叉熵损失函数，得到总损失函数为：L
tol
＝αL
ce
+βL
arc
ꢀꢀꢀ
(3)式中，α和β分别为Arc
‑
...

【专利技术属性】
技术研发人员：王侃，周福江，郝方伟，马恺麟，
申请(专利权)人：重庆中科摇橹船信息科技有限公司，
类型：发明
国别省市：