一种缺陷检测方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种缺陷检测方法、装置、设备及存储介质，该方法包括：利用编码器网络对待检测图像进行特征提取，得到多个编码特征向量；将所述多个编码特征向量进行拼接，并利用解码器网络对拼接后的向量进行解码，得到与所述多个编码特征向量分别对应的解码特征向量；对比每个编码特征向量与所述每个编码特征向量对应的解码特征向量，得到多个相似度矩阵；基于所述多个相似度矩阵确定目标相似度矩阵；若所述目标相似度矩阵中存在小于预设阈值的元素，则确定所述待检测图像存在缺陷。通过上述方法，避免了由于缺陷样本获取困难，而对深度学习缺陷检测算法造成影响的问题。度学习缺陷检测算法造成影响的问题。度学习缺陷检测算法造成影响的问题。

【技术实现步骤摘要】
一种缺陷检测方法、装置、设备及存储介质


[0001]本申请涉及图像处理和计算机视觉
，尤其涉及一种缺陷检测方法、装置、设备及存储介质。

技术介绍

[0002]工业缺陷检测涉及面比较广，包括钢材、木材、纸质材料、布匹、液晶屏幕等。基于传统图像处理的方法对缺陷进行检测已经满足不了日益复杂的检测对象，基于此背景下，深度学习技术被认为是解决当前技术难点的一个突破口。工业界和学术界大量研究和实际应用案例证明，深度学习方法在缺陷特征提取上发挥重要的作用，当缺陷样本充足时，缺陷检测不再是一个工业难题。然而，随着生产工艺的提高，缺陷产品数量随之减少，且对缺陷可能出现的类别形态难以预测和枚举，导致缺陷样本难以获得，所以依赖于大量缺陷样本的传统深度学习缺陷检测算法也出现技术瓶颈。

技术实现思路

[0003]本申请实施例提供了一种缺陷检测方法、装置、设备及存储介质，避免了由于缺陷样本获取困难，而对深度学习缺陷检测算法造成影响的问题。
[0004]第一方面，本申请实施例提供了一种缺陷检测方法，所述方法包括：
[0005]利用编码器网络对待检测图像进行特征提取，得到多个编码特征向量；
[0006]将所述多个编码特征向量进行拼接，并利用解码器网络对拼接后的向量进行解码，得到与所述多个编码特征向量分别对应的解码特征向量；
[0007]对比每个编码特征向量与所述每个编码特征向量对应的解码特征向量，得到多个相似度矩阵；
[0008]基于所述多个相似度矩阵确定目标相似度矩阵；
[0009]若所述目标相似度矩阵中存在小于预设阈值的元素，则确定所述待检测图像存在缺陷；
[0010]其中，所述解码器网络是基于多个样本编码特征向量拼接得到的向量，以及每个样本编码特征向量与所述每个样本编码特征向量对应的样本解码特征向量的相似度在没有缺陷的样本集上进行多轮训练得到的，所述样本解码向量是基于对所述多个样本编码特征向量拼接得到的向量进行解码得到，所述多个样本编码特征向量是基于编码器网络对样本图像进行特征提取得到的。
[0011]在上述实施例中，采用编码器网络
‑
解码器网络的网络结构，通过编码器网络输出与解码器网络输出之间的相似度的大小来检测缺陷样本，由于仅采用没有缺陷的样本训练该网络，则当存在缺陷的图片输入该网络时，其输出的相似度会较低，没有缺陷的样本获取容易，网络训练简单方便。
[0012]在一种可能的实施方式中，所述解码器网络是通过如下方式训练的：
[0013]基于所述每个样本编码特征向量与每个样本编码特征向量对应的样本解码特征
向量确定每个元素坐标对应的相似度损失值，所述样本编码特征向量中元素的元素坐标与所述样本编码特征向量对应的样本解码特征向量中元素的元素坐标一一对应；
[0014]采用各相似度损失函数值确定目标损失函数，利用所述目标损失函数在每对所述解码器网络进行多轮参数调整，其中，在本轮参数调整时，将上轮参数调整后的参数作为初始值，根据所述目标损失函数确定经解码器网络预测的相似度与实际相似度之间的误差并将所述误差进行梯度反向传播，以更新解码器网络中的参数，本轮参数调整结束后，将调整后的参数作为下轮参数调整时的初始值。
[0015]在上述实施例中，利用样本编码特征向量与样本编码特征向量对应的样本解码特征向量构建目标损失函数，并利用损失函数，通过反向传播对解码器网络的参数进行调整，使得网络的训练效率更加高效。
[0016]在一种可能的实施方式中，所述基于所述每个样本编码特征向量与每个样本编码特征向量对应的样本解码特征向量确定每个元素坐标对应的相似度损失值，包括：
[0017]针对每个样本编码特征向量中的每个第一元素和所述样本编码特征向量对应的样本解码特征向量中的与所述第一元素的元素坐标相同的第二元素，执行如下操作：
[0018]确定第一元素和第二元素乘积，与第一元素L2范数和第二元素L2范数乘积的比值；
[0019]将预设值与所述比值的差作为所述样本编码特征向量和所述样本解码特征向量在所述元素坐标处的相似度损失值。
[0020]在一种可能的实施方式中，所述采用各相似度损失函数值确定目标损失函数，包括：
[0021]将公式作为目标损失函数，其中，L
KD
为目标损失函数，k表示第k个样本编码特征向量或第k个样本解码特征向量，N为样本编码特征向量的数量或样本解码特征向量的数量，H
k
为第k个样本编码特征向量或第k个样本解码特征向量中的行数，h表示第k个样本编码特征向量中或第k个样本解码特征向量中第h行，W
k
为第k个样本编码特征向量或第k个样本解码特征向量中的列数，w表示第k个样本编码特征向量中或第k个样本解码特征向量中第w列，M
k
(h,w)为第k个样本编码特征向量与第k个样本解码特征向量在元素坐标(h,w)处的相似度损失值，W
k
(h,w)为M
k
(h,w)对应的权重值，所述第k个样本变码特征向量和第k个样本解码特征向量的维度相同。
[0022]在上述实施例中，利用各样本编码特征向量或各样本解码特征向量在各元素坐标处的相似度损失值，以及各相似度损失值分别对应的权重值构建的目标损失函数，能够反映出预测相似度与实际相似度之间的误差，从而可以根据该误差对解码器网络的各参数进行调整。
[0023]在一种可能的实施方式中，所述将所述多个编码特征向量进行拼接之前，还包括：
[0024]将所述每个编码特征向量的维度按照预设维度进行维度转换。
[0025]在上述实施例中，由于经编码器网络提取的多个编码特征向量分别表示的是不同级别的特征，因此其维度也各不相同，因此在拼接之前，需要将多个编码特征向量的维度进行统一。
[0026]在一种可能的实施方式中，所述基于所述多个相似度矩阵确定目标相似度矩阵，包括：
[0027]对每个相似度矩阵进行加权，对加权后的每个相似度矩阵按照待检测图像像素矩阵的维度对所述加权后的相似度矩阵进行上采样处理，以使上采样处理后的各相似度矩阵的维度与所述待检测图像像素矩阵的维度相匹配；
[0028]将上采样处理后的各相似度矩阵各元素坐标的元素对应相加，并对每个元素坐标的元素取平均值，得到目标相似度矩阵。
[0029]在上述实施例中，若待检测图片存在缺陷，为了方便确定缺陷的形状和位置信息，将相似度矩阵的维度还原成待检测图像像像素矩阵的维度。
[0030]在一种可能的实施方式中，采用如下方式对所述多个相似度矩阵进行加权：
[0031]针对每个相似度矩阵，将所述相似度矩阵中的每个元素分别与权重矩阵相同元素坐标的权重值相乘，得到加权后的相似度矩阵，所述权重矩阵是基于对比样本编码特征向量与所述样本编码特征向量对应的样本解码特征向量，得到的相似度矩阵确定的。
[0032]在上述实施例中，为了方便后续确定缺陷的形状和位置信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缺陷检测方法，其特征在于，所述方法包括：利用编码器网络对待检测图像进行特征提取，得到多个编码特征向量；将所述多个编码特征向量进行拼接，并利用解码器网络对拼接后的向量进行解码，得到与所述多个编码特征向量分别对应的解码特征向量；对比每个编码特征向量与所述每个编码特征向量对应的解码特征向量，得到多个相似度矩阵；基于所述多个相似度矩阵确定目标相似度矩阵；若所述目标相似度矩阵中存在小于预设阈值的元素，则确定所述待检测图像存在缺陷；其中，所述解码器网络是基于多个样本编码特征向量拼接得到的向量，以及每个样本编码特征向量与所述每个样本编码特征向量对应的样本解码特征向量的相似度在没有缺陷的样本集上进行多轮训练得到的，所述样本解码向量是基于对所述多个样本编码特征向量拼接得到的向量进行解码得到，所述多个样本编码特征向量是基于编码器网络对样本图像进行特征提取得到的。2.根据权利要求1所述的方法，其特征在于，所述解码器网络是通过如下方式训练的：基于所述每个样本编码特征向量与每个样本编码特征向量对应的样本解码特征向量确定每个元素坐标对应的相似度损失值，所述样本编码特征向量中元素的元素坐标与所述样本编码特征向量对应的样本解码特征向量中元素的元素坐标一一对应；采用各相似度损失函数值确定目标损失函数，利用所述目标损失函数在每对所述解码器网络进行多轮参数调整，其中，在本轮参数调整时，将上轮参数调整后的参数作为初始值，根据所述目标损失函数确定经解码器网络预测的相似度与实际相似度之间的误差并将所述误差进行梯度反向传播，以更新解码器网络中的参数，本轮参数调整结束后，将调整后的参数作为下轮参数调整时的初始值。3.根据权利要求2所述的方法，其特征在于，所述基于所述每个样本编码特征向量与每个样本编码特征向量对应的样本解码特征向量确定每个元素坐标对应的相似度损失值，包括：针对每个样本编码特征向量中的每个第一元素和所述样本编码特征向量对应的样本解码特征向量中的与所述第一元素的元素坐标相同的第二元素，执行如下操作：确定第一元素和第二元素乘积，与第一元素欧几里得L2范数和第二元素L2范数乘积的比值；将预设值与所述比值的差作为所述样本编码特征向量和所述样本解码特征向量在所述元素坐标处的相似度损失值。4.根据权利要求2或3所述的方法，其特征在于，所述采用各相似度损失函数值确定目标损失函数，包括：将公式作为目标损失函数，其中，L
KD
为目标损失函数，k表示第k个样本编码特征向量或第k个样本解码特征向量，N为样本编码特征向量的数量或样本解码特征向量的数量，H
k
为第k个样本编码特征向量或第k个样本解码特征向
量中的行数，h表示第k个样本编码特征向量中或第k个样本解码特征向量中第h行，W
k
为第k个样本编码特征向量或第k个样本解码特征向量中的列数，w表示第k个样本编码特征向量中或第k个样...

【专利技术属性】
技术研发人员：陶康，周璐，李晶，张博，
申请(专利权)人：浙江华睿科技股份有限公司，
类型：发明
国别省市：