无监督的缺陷检测模型的训练方法、缺陷检测方法技术

一种无监督的缺陷检测模型的训练方法、缺陷检测方法，使用样本对训练缺陷检测模型，部分样本对由正常样本图像和对该正常样本图像施加人工噪声的人工异常样本图像构成，部分样本对由完全相同的两个正常样本图像构成，不需要真实的异常样本图像和对应标签，克服了有监督算法的局限性，实现降本提效。训练时将人工异常样本图像或正常样本图像输入模型中通过重建模块进行重建，根据重建图像和对应的样本对中的正常样本图像构建重建损失函数用于训练，将重建图像与输入的人工异常样本图像或正常样本图像拼接后进行缺陷分割，在提高对正常图像精细化重建效果的同时，增大异常图像与其重建图像之间的差异，减少对正常图像的误检，提升检测性能。提升检测性能。提升检测性能。

【技术实现步骤摘要】
无监督的缺陷检测模型的训练方法、缺陷检测方法


[0001]本专利技术涉及图像处理
，具体涉及一种无监督的缺陷检测模型的训练方法、缺陷检测方法。

技术介绍

[0002]工业图像的缺陷检测，通常依赖于人工对大量图像进行分类，挑选出不符合要求的异常图像，标注相应的缺陷信息以训练模型，从而达到缺陷检测的目的。随着消费需求对工业产品质量要求的不断提高，工业图像数据呈现三大特性：稀有性、不平衡性以及多样性。
[0003]（1）稀有性：体现在异常图像的数量上，在实际的工业生产中，随着生产工艺的技术进步，生产出来的大多数产品属于完好的标准产品，只有小部分为缺陷产品，数量稀少，由缺陷产品拍摄得到的异常图像也因此较为稀少，需要熟悉产品的人员手工挑选出异常图像，若采用有监督技术进行检测的缺陷，还需要专门的技术人员对所有异常图像打上精确的像素级标注，成本昂贵，且不易获得；（2）不平衡性：主要有两个方面，一是在图像层面上，稀有性导致异常图像的数量相较于正常图像少；二是在像素层面上，一张图像中缺陷区域占整张图像的比重小；图像级和像素级两个层面共同作用，导致工业图像数据中正常数据与缺陷数据的比例严重失衡；（3）多样性：在工业生产中，缺陷类型众多，其大小、形状、位置以及颜色纹理等表现差异巨大，在统计学上，缺陷数据分布呈现不一致性；在连续的生产过程中，可能会有新类型的缺陷出现，具有不可预知性，因此，缺陷的类型无法以统计的方式被完全地概括，呈现多样性。
[0004]以有监督的方式训练模型进行缺陷的检测，需要有充足的样本，保证样本之间的类型平衡以及类型的全面覆盖，但工业图像数据的以上三大特性，使得其无法满足有监督算法的技术要求。

技术实现思路

[0005]本专利技术提供一种无监督的缺陷检测模型的训练方法以及缺陷检测方法，以克服有监督算法在缺陷检测中的局限性。
[0006]根据第一方面，一种实施例中提供一种无监督的缺陷检测模型的训练方法，所述缺陷检测模型包括特征提取器、特征压缩模块、图像重建模块和缺陷分割模块，所述缺陷检测模型的训练方法包括：获取正常样本图像集，其中正常样本图像为无缺陷的标准品的图像；从所述正常样本图像集中抽取预定比例p的正常样本图像x，对所抽取的正常样本图像x施加人工噪声得到人工异常样本图像，并与原图像组成样本对，对未被抽取的正常样本图像x进行拷贝得到拷贝图像，并与原图像组成样本对，由所有样本对组成训练样本集；
从所述训练样本集中获取样本对，当获取到样本对时，则将其中的人工异常样本图像输入所述特征提取器中得到初始特征α，当获取到样本对时，则将其中的任意一个正常样本图像x输入所述特征提取器中得到初始特征α；将所述初始特征α输入所述特征压缩模块中以得到压缩特征β；将所述压缩特征β输入所述图像重建模块中以得到重建图像y；若所获取的是样本对，则将重建图像y与人工异常样本图像在通道上进行拼接得到合并图像，若所获取的是样本对，则将重建图像y与正常样本图像x在通道上进行拼接得到合并图像；将所述合并图像输入所述缺陷分割模块以得到缺陷预测图像z；根据重建图像y和对应的样本对中的正常样本图像x构建重建损失函数L
r
，根据缺陷预测图像z和对应的缺陷标签图像m构建分割损失函数L
s
，根据重建损失函数L
r
和分割损失函数L
s
构建总损失函数L
total
；根据总损失函数L
total
对所述缺陷检测模型进行训练，得到相应的模型参数。
[0007]一种实施例中，所述特征提取器为一预训练的神经网络，所述初始特征α包括所述预训练的神经网络的一个或多个网络层输出的特征图。
[0008]一种实施例中，在训练过程中，所述特征提取器的参数先保持不变，当所述缺陷检测模型中除所述特征提取器外的其他部分的参数进行过预设次数的更新后，所述特征提取器开始进行参数更新。
[0009]一种实施例中，所述特征压缩模块通过以下方式对所述初始特征α进行压缩以得到压缩特征β：预先设定压缩尺寸s；将所述初始特征α中的每一个特征图的大小调整至所述压缩尺寸s；将调整大小后的特征图在通道上进行拼接以组成一特征组；对于特征组中的每一个特征图，将其分成不重叠的多个小块，取每个小块的像素平均值，组成新的特征图；对特征组进行通道压缩从而得到压缩特征β。
[0010]一种实施例中，所述图像重建模块包括一个或多个反卷积层、批次标准化层和ReLU激活函数。
[0011]一种实施例中，所述重建损失函数L
r
具体为：，其中λ1和λ2为预设的平衡系数，L
MSE
表示均方根误差，且，其中y
i
表示重建图像y的第i个像素值，x
i
表示对应的正常样本图像x的第i个像素值，n表示像素的数量；L
SSIM
表示结构相似性损失，且，
其中，其中μ
y
和μ
x
分别为重建图像y和对应的正常样本图像x的像素均值，和分别为重建图像y和对应的正常样本图像x的像素方差，σ
yx
为重建图像y和对应的正常样本图像x的协方差，c1和c2为预设的常数。
[0012]一种实施例中，所述分割损失函数L
s
具体为：，其中δ1和δ2分别为预设的权重系数，L
cross
表示交叉熵损失，且，其中z
i
表示缺陷预测图像z的第i个像素的预测值，m
i
表示对应的缺陷标签图像m的第i个像素的标签值，n表示像素的数量；L
dice
表示交并比损失，且，其中z
d
表示缺陷预测图像z中被预测为缺陷的区域，m
d
表示缺陷标签图像m中被标记为缺陷的区域。
[0013]一种实施例中，所述总损失函数L
total
具体为：。
[0014]根据第二方面，一种实施例中提供一种无监督的缺陷检测方法，包括：获取被检测物体的待检测图像；将所述待检测图像输入经过如上述第一方面所述的训练方法训练的缺陷检测模型中以得到缺陷预测图像；使用设定的分割阈值对所述缺陷预测图像进行阈值分割以得到缺陷分割图。
[0015]一种实施例中，所述分割阈值通过以下方式设定：获取验证集，所述验证集由正常样本图像组成；将所述验证集中的各正常样本图像分别输入所述缺陷检测模型中以获得各正常样本图像的缺陷预测图像；获取所有缺陷预测图像的所有像素的最大预测值S
max
和最小预测值S
min
；从最大预测值S
max
开始并以步长Δ逐渐递减，将当前数值作为分割阈值对各缺陷预测图像进行阈值分割，然后计算误检率，直至误检率大于或等于预设的误检率阈值为止，将此时的分割阈值作为最终的分割阈值，其中当进行阈值分割时，将预测值大于分割阈值的像素点判定为缺陷点，步长Δ的计算公式为：，其中S
step
为预设的步长数。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督的缺陷检测模型的训练方法，其特征在于，所述缺陷检测模型包括特征提取器、特征压缩模块、图像重建模块和缺陷分割模块，所述缺陷检测模型的训练方法包括：获取正常样本图像集，其中正常样本图像为无缺陷的标准品的图像；从所述正常样本图像集中抽取预定比例p的正常样本图像x，对所抽取的正常样本图像x施加人工噪声得到人工异常样本图像，并与原图像组成样本对，对未被抽取的正常样本图像x进行拷贝得到拷贝图像，并与原图像组成样本对，由所有样本对组成训练样本集；从所述训练样本集中获取样本对，当获取到样本对时，则将其中的人工异常样本图像输入所述特征提取器中得到初始特征α，当获取到样本对时，则将其中的任意一个正常样本图像x输入所述特征提取器中得到初始特征α；将所述初始特征α输入所述特征压缩模块中以得到压缩特征β；将所述压缩特征β输入所述图像重建模块中以得到重建图像y；若所获取的是样本对，则将重建图像y与人工异常样本图像在通道上进行拼接得到合并图像，若所获取的是样本对，则将重建图像y与正常样本图像x在通道上进行拼接得到合并图像；将所述合并图像输入所述缺陷分割模块以得到缺陷预测图像z；根据重建图像y和对应的样本对中的正常样本图像x构建重建损失函数L
r
，根据缺陷预测图像z和对应的缺陷标签图像m构建分割损失函数L
s
，根据重建损失函数L
r
和分割损失函数L
s
构建总损失函数L
total
；根据总损失函数L
total
对所述缺陷检测模型进行训练，得到相应的模型参数。2.如权利要求1所述的训练方法，其特征在于，所述特征提取器为一预训练的神经网络，所述初始特征α包括所述预训练的神经网络的一个或多个网络层输出的特征图。3.如权利要求2所述的训练方法，其特征在于，在训练过程中，所述特征提取器的参数先保持不变，当所述缺陷检测模型中除所述特征提取器外的其他部分的参数进行过预设次数的更新后，所述特征提取器开始进行参数更新。4.如权利要求2所述的训练方法，其特征在于，所述特征压缩模块通过以下方式对所述初始特征α进行压缩以得到压缩特征β：预先设定压缩尺寸s；将所述初始特征α中的每一个特征图的大小调整至所述压缩尺寸s；将调整大小后的特征图在通道上进行拼接以组成一特征组；对于特征组中的每一个特征图，将其分成不重叠的多个小块，取每个小块的像素平均值，组成新的特征图；对特征组进行通道压缩从而得到压缩特征β。5.如权利要求1所述的训练方法，其特征在于，所述图像重建模块包括一个或多个反卷积层、批次标准化层和ReLU激活函数。6.如权利要求1所述的训练方法，其特征在于，所述重建损失函数L
r
具体为：
，其中λ1和λ2为预设的平衡系数，L
MSE
表...

【专利技术属性】
技术研发人员：曾利宏，杨洋，李杰明，黄淦，林泽伟，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：