一种用于机器视觉缺陷检测的深度学习模型训练方法技术

本发明专利技术公开了一种用于机器视觉缺陷检测的深度学习模型训练方法，基于少量缺陷产品外观图像和大量正常产品外观图像进行模型训练，采用负样本扩增方法对少量缺陷产品外观图像进行样本扩增，具体包括如下步骤：将缺陷产品外观图像中的缺陷部分截取出来，形成缺陷图像；对缺陷图像进行扩增处理，形成大量人工缺陷图像；通过图像融合的方式将人工缺陷图像融入到正常产品外观图像中的随机位置，形成人工缺陷产品外观图像；将人工缺陷产品外观图像列入训练样本集用于模型训练。本发明专利技术提供一种负样本扩增方法，能够在负样本稀缺的情况下，快速负样本的扩增，尤其适用于无序产品外观缺陷样本扩增，大大提升了模型训练效果，提高了缺陷产品的检出率。陷产品的检出率。陷产品的检出率。

【技术实现步骤摘要】
一种用于机器视觉缺陷检测的深度学习模型训练方法


[0001]本专利技术涉及深度学习
，尤其涉及是一种用于机器视觉缺陷检测的深度学习模型训练方法。

技术介绍

[0002]在工业生产过程中，对存在缺陷的工件或者产品进行缺陷检测是必不可少的一步，即识别出是否有缺陷以及缺陷的类型。传统工业中对于工件的表面缺陷识别还停留在人工检测阶段，会受到工人的个人因素影响，效率和质量都难以得到保障，传统的人工检测方法已经无法满足工业需求。
[0003]很多生产厂商在质量检测方面投入了大量的人才、物力、财力来研究如何提升产品的表面缺陷检测。机器视觉技术是利用计算机图像处理的技术，对产品的外观缺陷进行自动检测的技术。机器视觉技术已经越来越成熟，成本已经降低到了小型生产厂商可以承受的水平。使用机器视觉检测系统可以实现因人力无法达到的精度及准度。因此，各种生产厂商都可以基于机器视觉的表面缺陷检测方法来达到检测的要求。这种方法可以克服因人工检测方法对产品的低抽检率、低准确性度、差实时性、低效率等弊端。
[0004]传统的机器视觉技术一般使用图像处理算法，如阈值分割、形态学习算法、连通区域提取等方法提取出可能包含产品缺陷的图像区域，然后再使用贝叶斯网络、支持向量机等算法对图像进行分类，以区分出是否是缺陷。传统机器视觉技术的缺点在于不是端到端的算法，即对每一种缺陷，都要分析其特征，然后利用机器学习算法进行反复试验、调整参数，才能得到一个表现良好的算法。该过程需要耗费大量算法工程师的人力，且对算法工程师的经验要求很高。
[0005]深度学习是近年来蓬勃发展的技术，大大提高了图像识别、目标检测的精度。将深度学习技术应用到机器视觉中成为近年来的新趋势。深度学习可以实现端到端的算法，不再需要设计精巧的图像处理算法。只需要将足够多的训练样本准备好，即可训练得到深度学习模型。深度学习模型的输入是图像，输出是图像中物体的分类或目标的位置。
[0006]然而，将深度学习技术应用于缺陷检测中，面临的一个问题是训练样本不足。现代工业技术非常成熟，外观有缺陷的产品在全部产品中的占比很少。大部分的产品表面是没有缺陷的。例如，开源的产品外观数据集MVTEC ANOMALY DETECTION DATASET中的木材类子数据集中，没有缺陷的正常木材外观图像有246张，而有缺陷的木材外观图像仅有60张，而且分为颜色缺陷、虫孔缺陷、流滴缺陷、划痕缺陷、混合缺陷5类。而要使用深度学习模型进行缺陷检测，就要将大量包含缺陷的产品外观图像当作训练样本。即使是有缺陷的产品外观图像，其作为背景的正常产品外观图像与其他正常产品外观图像也不相同。显然，如果仅使用包含缺陷的产品外观图像进行训练，将面临训练样本少，而且不包含全部正常产品外观信息的问题。包含缺陷的产品外观图像数量不足是将深度学习模型应用于工业视觉领域的一个突出问题。

技术实现思路

[0007]针对现有技术存在的上述问题，本专利技术提出一种负样本扩增方法以及基于该负样本扩增方法的用于机器视觉缺陷检测的深度学习模型训练方法。
[0008]本专利技术保护一种负样本扩增方法，该方法包括如下步骤：首先，提取少量负样本中的缺陷信息；然后，对缺陷信息进行扩增处理，得到人工缺陷信息；最后，将人工缺陷信息随机融入大量正样本中，形成大量人工负样本。
[0009]进一步地，每个负样本缺陷信息均有与之对应的缺陷标记数据。
[0010]更进一步地，所述缺陷信息扩增处理方式包括但不限于放大、缩小、旋转、高斯模糊、均值模糊、USM锐化、拉普拉斯锐化、加入椒盐噪声中的一种或多种。
[0011]本专利技术还保护一种用于机器视觉缺陷检测的深度学习模型训练方法，基于少量缺陷产品外观图像和大量正常产品外观图像进行模型训练，采用上述负样本扩增方法对少量缺陷产品外观图像进行样本扩增，具体包括如下步骤：
[0012]S1，将缺陷产品外观图像中的缺陷部分截取出来，形成缺陷图像；
[0013]S2，对缺陷图像进行扩增处理，形成大量人工缺陷图像；
[0014]S3，通过图像融合的方式将人工缺陷图像融入到正常产品外观图像中的随机位置，形成人工缺陷产品外观图像；
[0015]S4，将人工缺陷产品外观图像列入训练样本集用于模型训练。
[0016]进一步地，所述步骤S3中，采用的图像融合方式为将缺陷图像中标记为缺陷部分的像素直接复制到正常产品外观图像中。
[0017]本专利技术提供一种负样本扩增方法，能够在负样本稀缺的情况下，快速负样本的扩增，尤其适用于无序产品外观缺陷样本扩增，大大提升了模型训练效果，提高了缺陷产品的检出率。
附图说明
[0018]图1为一种用于机器视觉缺陷检测的深度学习模型训练方法的流程图；
[0019]图2a为实施例1中正常木材外观图像；
[0020]图2b为实施例1中缺陷木材外观图像；
[0021]图2c为实施例1中缺陷木材外观图的缺陷标记图像，其中白色的像素对应位置表示为缺陷；黑色像素对应位置表示为正常外观；
[0022]图3为实施例1中图2b中一处缺陷截取出来的缺陷图像；
[0023]图4a为图3进行放大200％操作后的图像；
[0024]图4b为图3进行缩小50％操作后的图像；
[0025]图4c为图3进行高斯模糊处理操作后的图像；
[0026]图4d为图4c进行放大200％操作后的图像；
[0027]图4e为图4c进行缩小50％操作后的图像；
[0028]图5a为图4a融入正常木材外观图像后的人工缺陷木材外观图像；
[0029]图5b为图3融入正常木材外观图像后的人工缺陷木材外观图像；
[0030]图5c为图4b融入正常木材外观图像后的人工缺陷木材外观图像；
[0031]图6为正常的一种木材的多种外观图像。
具体实施方式
[0032]下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本专利技术限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本专利技术的原理和实际应用，并且使本领域的普通技术人员能够理解本专利技术从而设计适于特定用途的带有各种修改的各种实施例。
[0033]实施例1
[0034]本实施例结合开源机器视觉数据集MVTEC ANOMALY DETECTION DATASET中的木材类子数据集对本专利技术的技术方案(主要流程如图1所示)进行具体阐述。
[0035]首先，从开源机器视觉数据集MVTEC ANOMALY DETECTION DATASET获取正常木材外观图像和缺陷木材外观图像及缺陷木材外观图像的缺陷标记图像，分别参见图2a、图2b和图2c。
[0036]其次，将图2b中所示缺陷木材外观图像中的某处缺陷截取出来得到缺陷图像，并对缺陷图像里逐个像素进行缺陷标记。本实施例中，以白色表示缺陷图像中相同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种负样本扩增方法，其特征在于，包括以下步骤：首先，提取少量负样本中的缺陷信息；然后，对缺陷信息进行扩增处理，得到人工缺陷信息；最后，将人工缺陷信息随机融入大量正样本中，形成大量人工负样本。2.根据权利要求1所述的负样本扩增方法，其特征在于，每个负样本缺陷信息均有与之对应的缺陷标记数据。3.根据权利要求1或2所述的负样本扩增方法，其特征在于，所述缺陷信息扩增处理方式包括但不限于放大、缩小、旋转、高斯模糊、均值模糊、USM锐化、拉普拉斯锐化、加入椒盐噪声中的一种或多种。4.一种用于机器视觉缺陷检测的深度学习模型训练方法，基于少量缺陷产品外观图像和大量正常产品外观图像进行模型训练，其特征在...

【专利技术属性】
技术研发人员：林广栋，江凯，王强，黄光红，刘振，
申请(专利权)人：安徽芯纪元科技有限公司，
类型：发明
国别省市：