一种基于正例训练的表面缺陷检测方法技术

一种基于正例训练的表面缺陷检测方法，包括图像重建和缺陷检测两个步骤，图像重建是将输入的原图重建为没有缺陷的图片，步骤为：在训练过程中给正例图片加入人造的缺陷和噪声，使用自编码器对其重建，计算重建结果和无噪声的原图之间的L1距离，最小化该距离作为重建目标，并配合生成对抗网络优化重建图效果；在获得重建图后进行缺陷检测：计算重建图和原图的LBP特征，将两张特征图做差后按固定阈值二值化即可找到缺陷。本发明专利技术使用深度学习的方法，在有足够的正样本时可以足够鲁棒不易受到环境变化的干扰，同时基于正例训练不依赖大量负例样本和人工标注，适合在真实的应用场景中使用，可以较好地检测出表面缺陷。

【技术实现步骤摘要】
一种基于正例训练的表面缺陷检测方法
本专利技术属于机器视觉
，涉及产品表面缺陷检测，为一种基于正例训练的表面缺陷检测方法。
技术介绍
在工业生产中，缺陷检测是一个非常重要的部分，它对最终产品的质量和产品在市场上的声誉有着重要的影响。在传统工业生产中，缺陷检测常常使用人眼来完成，这会造成如下的弊端：主观影响大，且人眼在大量重复的工作中会很容易出现漏检、错检的情况，而且人力资源成本是昂贵的。因此机器视觉代替人眼缺陷检测既可以降低成本又可以提高精度。机器视觉算法在实际工业缺陷检测环境中会遇到许多问题和挑战，传统的机器视觉算法在缺陷检测中的应用常是基于特征提取配合模式识别的。然而传统的图像特征提取算子得到的特征常常是低阶的，在遇到光照变化、扭曲、遮挡、形变等情况时，特征算法通常无法有效提取目标的特征。深度学习在图像特征的提取上取得了非常好的成果，其中的代表就是卷积神经网络。卷积神经网络在各种有监督的问题上，如分类、目标定位、语义分割等，都取得了最高的精度。现有使用深度学习技术进行表面缺陷检测的文献中，有使用深度卷积神经网络完成了钢轨表面的缺陷检测，它将正常钢轨图片和有缺陷钢轨图片分为6类，1类正确图片和5类缺陷图片，然后使用深度卷积神经网络DCNN进行分类来实现缺陷的检测；有结合区域筛选和卷积神经网络，对得到的区域进行检测和识别，完成胶囊表面缺陷的检测；有使用两个全卷积网络FCN语义分割网络进行缺陷检测，一个网络进行粗定位，一个网络进行细定位，画出缺陷的轮廓。以上有监督的深度学习缺陷检测方法在实际的工业检测应用中会存在两个问题：1、训练样本中缺陷样本不足在实际问题中，训练样本里的缺陷种类总是偏少的，这导致了两方面的问题。一方面是训练过程中正负样本的数量极度不平衡；另一方面是实际使用时总会出现训练集中没有的缺陷形态。在实际缺陷形态无法预测的场景中，有监督的检测方法常常不能达到需要的精度。2、标注信息昂贵由于实际的缺陷检测应用通常有多种形态的缺陷，且不同现场的光照条件、客户需求都不一样。这就需要针对特定的需求人工标注大量的训练样本，这是需要消耗大量人力资源的。针对以上监督学习算法在实际应用中存在的问题，本专利技术提出了一种基于正样本训练的缺陷检测方式。训练过程中只需提供足够的正样本，无需提供缺陷样本，且无需人工标注，就可以达到对缺陷检测的效果。
技术实现思路
本专利技术要解决的问题是：表面缺陷检测在实际的生存过程中，会遇到生产环境变化复杂、有监督的深度学习方法所需的大量缺陷样本和人工标注都不易获取的问题。本专利技术的技术方案为：一种基于正例训练的表面缺陷检测方法，包括以下步骤：1)图像重建：1a)在正例图片中加入随机的人造缺陷和噪声；1b)设置自编码器将带人造缺陷和噪声的图片编码重构得到重建图片，计算重建图片和正例图片两者之间的L1距离，将最小化所述L1距离作为L1loss，即优化目标；1c)设置生成对抗网络GAN，将自编码器作为GAN的生成器，对重建图片进行GANloss约束，约束目标为使重建图片的效果和真实图片尽可能相近；1d)将L1loss和GANloss叠加作为优化目标，对自编码器进行训练，在训练阶段调整自编码器的参数，使自编码器输出的重建图片在满足L1loss的同时满足GANloss；2)进行缺陷检测：2a)在测试阶段，将待检测图像经过训练好的自编码器，得到其对应的重建图片；3b)对步骤2a)所得重建图片和待检测图像同时计算LBP特征，得到两张特征图，计算两张特征图对应位置的差值；3c)将差值图二值化即可得到缺陷分割图。进一步的，步骤1a)中，生成随机形状、位置、大小、灰度值、数量的缺陷块加到图片中去，同时使用随机旋转、随机缩放和随机高斯噪声等数据增强手段，如下所示x～＝C(x)(1)其中x表示正例图片，C表示缺陷生成器和数据增强部分，x～表示添加了人造缺陷的正例图片。进一步的，步骤1b)中，定义L1距离作为重构误差，即L1loss为：其中G表示自编码器，x表示正例图片，G(x～)表示重建图片，pdata(x)是x所满足的概率分布，指正例图片应满足的分布，自编码器将带缺陷的样本重建为对应的无缺陷的样本，最小化重构误差作为优化自编码器的优化目标。进一步的，步骤1c)中，将自编码器作为GAN的生成器，对重建图片通过GAN的判别器进行判别，GANloss的目标函数为：其中G即自编码器，D表示GAN中的判别器，x表示正例图片，G(x～)表示重建图片，pdata(x)是x所满足的概率分布，指正例图片应满足的分布，在训练的过程中，判别器尽可能区分真或假的图片，自编码器尽可能生成可以通过判别器的图片，生成图片的质量在自编码器和判别器的不断博弈中提升。步骤1d)中，L1loss和GANloss结合方法为：其中λ是平衡GANloss和重构误差的参数。步骤2b)中，待检测图像z和修复图y经过LBP算法处理得到特征图z+和y+后，对于z+的每个像素点，在y+对应位置的邻域搜索与该特征值最接近的值作为匹配点，将像素点与匹配点做差取绝对值，得到的值越小，表示该点是缺陷的可能性越低，步骤2c)中，对差值图使用固定阈值二值化，即可得到缺陷分割图。采用本专利技术方法，与现有技术相比，具有如下显著效果：(1)本专利技术基于深度卷积神经网络，在有充足的正例训练样本的情况下，可以适应实际生产环境中光照变化、背景复杂、随机噪声、工件形状位置配准不好等情况，这里充足的正例训练样本指希望在测试阶段被判为正例的特征和情况在训练集中都存在，例如所述的光照变化、背景复杂、随机噪声、位置不准等情况下的正例图片，当训练集中全部包括这里情况的正例图片，由于深度卷积神经网络的参数足够多、容量足够大，自编码器都可以对应重建图片，而上述情况下的正例样本易于获得，因此相对于传统的机器视觉算法可非常好地抵抗环境变化带来的干扰，有更强的鲁棒性，也易于实现。(2)本专利技术在训练过程中只依赖正样本量足够充足，而不对训练的负样本有要求。因为缺陷样本常常数量比较少且形态各异，而正样本量大且形态具有比较好的一致性，因此实际生产环境中建立充足的正样本图集是相对容易的，本专利技术有利于实际应用。(3)本专利技术无需人工标注，所需的人力成本较低。实际生产环境中，缺陷有多种形态，且不同现场的光照条件、客户需求都不一样，现有的有监督的缺陷检测算法需要消耗大量的人力资源的。本专利技术通过自动生成足够的随机缺陷，训练自动修复的自编码器来和原图比对进行缺陷检测，大大降低了人力成本。附图说明图1是本专利技术的一种基于正例训练的缺陷检测方法的示意图，包括训练阶段和测试阶段，在训练阶段训练好自编码器的参数，使其可以实现缺陷图片的重建；在测试阶段进行重建和缺陷检测。图2是本专利技术在训练阶段给正例图片加入的人造缺陷示意图，可以看到人造缺陷的大小、形状、灰度值、位置都是随机的。图3是本专利技术测试阶段得到重建图后LBP比对示意图，z是原图，y是z的重建修复图，它们经过LBP算法处理得到特征图分别是z+、y+，z+和y+比对后得到最终的缺陷分割图S。图4是本专利技术测试阶段实际缺陷示意图，可以看到其形态上和训练时加入的人造缺陷还有比较大的区别，最终的实验效果说明本方法可以不依赖训练阶段人造缺陷必须和实际缺陷相似这一条件。图5是本专利技术在测试阶段的本文档来自技高网...

【技术保护点】
1.一种基于正例训练的表面缺陷检测方法，其特征是包括以下步骤：1)图像重建：1a)在正例图片中加入随机的人造缺陷和噪声；1b)设置自编码器将带人造缺陷和噪声的图片编码重构得到重建图片，计算重建图片和正例图片两者之间的L1距离，将最小化所述L1距离作为L1 loss，即优化目标；1c)设置生成对抗网络GAN，将自编码器作为GAN的生成器，对重建图片进行GAN loss约束，约束目标为使重建图片的效果和真实图片尽可能相近；1d)将L1 loss和GAN loss叠加作为优化目标，对自编码器进行训练，在训练阶段调整自编码器的参数，使自编码器输出的重建图片在满足L1 loss的同时满足GAN loss；2)进行缺陷检测：2a)在测试阶段，将待检测图像经过训练好的自编码器，得到其对应的重建图片；3b)对步骤2a)所得重建图片和待检测图像同时计算LBP特征，得到两张特征图，计算两张特征图对应位置的差值；3c)将差值图二值化即可得到缺陷分割图。

【技术特征摘要】
1.一种基于正例训练的表面缺陷检测方法，其特征是包括以下步骤：1)图像重建：1a)在正例图片中加入随机的人造缺陷和噪声；1b)设置自编码器将带人造缺陷和噪声的图片编码重构得到重建图片，计算重建图片和正例图片两者之间的L1距离，将最小化所述L1距离作为L1loss，即优化目标；1c)设置生成对抗网络GAN，将自编码器作为GAN的生成器，对重建图片进行GANloss约束，约束目标为使重建图片的效果和真实图片尽可能相近；1d)将L1loss和GANloss叠加作为优化目标，对自编码器进行训练，在训练阶段调整自编码器的参数，使自编码器输出的重建图片在满足L1loss的同时满足GANloss；2)进行缺陷检测：2a)在测试阶段，将待检测图像经过训练好的自编码器，得到其对应的重建图片；3b)对步骤2a)所得重建图片和待检测图像同时计算LBP特征，得到两张特征图，计算两张特征图对应位置的差值；3c)将差值图二值化即可得到缺陷分割图。2.根据权利要求1所述的基于正例训练的表面缺陷检测方法，其特征是步骤1a)中，生成随机形状、位置、大小、灰度值、数量的缺陷块加到图片中去，同时使用随机旋转、随机缩放和随机高斯噪声等数据增强手段，如下所示x～＝C(x)(1)其中x表示正例图片，C表示缺陷生成器和数据增强部分，x～表示添加了人造缺陷的正例图片。3.根据权利要求1所述的基于正例训练的表面缺陷检测方法，其特征是步骤1b)中，定义...

【专利技术属性】
技术研发人员：李勃，赵之轩，赵鹏，董蓉，
申请(专利权)人：南京大学，南京汇川图像视觉技术有限公司，南京汇川工业视觉技术开发有限公司，
类型：发明
国别省市：江苏,32