基于深度学习和高斯混合的工业产品表面缺陷检测方法技术

本发明专利技术涉及一种基于深度学习和高斯混合的工业产品表面缺陷检测方法。借助在ImageNet上预训练的模型提取输入数据的表征信息；使用高斯混合模型拟合正常数据的表征分布；计算测试样本与正常数据表征分布之间的马氏距离作为该样本的异常值，利用少量缺陷数据获得阈值；借助阈值与异常值判断样本是否为缺陷产品。本发明专利技术实现了对工业产品表面缺陷更好的检测效果。测效果。测效果。

【技术实现步骤摘要】
基于深度学习和高斯混合的工业产品表面缺陷检测方法


[0001]本专利技术涉及缺陷检测与计算机视觉领域，具体为一种基于深度学习和高斯混合的工业产品表面缺陷检测方法。

技术介绍

[0002]随着全球工业进入4.0时代，在工业生产智能化、高效率、低成本、高质量的发展趋势下，对于工业产品缺陷检测的需求越来越大，标准也越来越高。工业生产过程中，由于技术限制、设备老化、环境污染等因素，不可避免地会生产出带有缺陷的产品。严重或过多的缺陷会降低产品的质量，尤其是对于像LCD、USB等具有精细电子线路结构的元件，最坏的情况下缺陷将导致产品无法使用。所以，准确地检测到工业生产过程中产品的缺陷对于工业生产意义重大。
[0003]目前，工业生产中所使用的缺陷检测方法大体可以分为三种。(1)人工检测方法。这种方法传统并且在中小企业中仍然广泛使用，但是由于工人技能水平不一，无法保持长期专注力等原因，导致这种方法存在效率低，准确率较差的缺陷。(2)借助专业设备的物理检测方法，其代表方法有：共振超声振动法、电子散斑干涉分析法等。然而这种方法也存在着专业设备造价成本较高，操作流程复杂的缺陷。(3)基于计算机视觉和深度学习，通过搭建、训练神经网络模型来实现缺陷检测。这种方法在人工智能火热发展后得到了更多的关注。相比于前两种方法，这种方法的优势在于降低了人力和设备成本，提高了检测效率的同时可以保持一个相对稳定的检测正确率，大大提升生产效益，实现了智能化的工业产品表面缺陷检测。
[0004]综合考虑经济效益与检测准确率等等因素，可以发现使用基于深度学习的工业产品缺陷检测方法是目前最佳的方法。然而，现有的基于深度学习的工业缺陷检测方法还存在着一些不足：(1)现存基于深度学习的工业产品表面缺陷检测方法往往需要事先收集大量缺陷产品的图片数据，而实际生产中缺陷产品数量占比较小，收集难度大。如：一种基于深度学习的光学元件表面缺陷检测方法(专利申请号：CN201910176202.4)和一种基于深度学习的手机外壳缺陷检测方法(专利申请号：CN201710034677.0)，在训练缺陷检测模型时需要采集大量的缺陷图像并进行人工标记；(2)同时当所收集到的产品图像中的物体摆放位置并不位于中央，且物体本身带有一定旋转角度时，传统的缺陷检测技术并不能实现较好的检测效果；(3)当产品发生更替时，现存方法往往需要重新训练新版模型来实现缺陷检测，需要花费大量的计算资源和时间。如：一种基于深度学习的工业产品缺陷检测方法(专利申请号：CN201910723845.6)在训练检测模型的过程中使用到了特定工业产品所对应的二元掩模图片，从而当产品更替时需要收集新的二元掩模图片，重新训练新的检测模型以达到较高的检测效果，耗费时间和计算资源。
[0005]因此，有必要设计一种基于深度学习的结构简单、检测率高的工业产品表面缺陷检测技术，应用于实际的工业生产过程中。

技术实现思路

[0006]本专利技术的目的在于提供一种基于深度学习和高斯混合的工业产品表面缺陷检测方法，实现了对工业产品表面缺陷更好的检测效果。
[0007]为实现上述目的，本专利技术的技术方案是：一种基于深度学习和高斯混合的工业产品表面缺陷检测方法，包括如下步骤：
[0008]S1、预先在ImageNet ILSVRC2012数据集上训练一个EfficienNet
‑
B5网络模型；
[0009]S2、采集工业产品表面的图像数据，进行图像清理操作；
[0010]S3、选择正常产品数据即无缺陷产品的图像，使用步骤S1预训练网络模型提取图像表征信息；
[0011]S4、使用高斯混合模型拟合无缺陷产品表征信息的分布；
[0012]S5、使用少量缺陷产品数据，计算其表征信息和高斯混合模型的距离的加权求和作为异常值，选择当中的最小值作为缺陷检测阈值；
[0013]S6、计算测试样本的异常值，利用缺陷检测阈值来判断样本是否属于缺陷产品。
[0014]在本专利技术一实施例中，步骤S1中，使用在ImageNet数据集上借助分类任务预训练的EfficientNet
‑
B5网络模型，利用ImageNet数据集的内容广泛性，该预训练的EfficientNet
‑
B5网络模型可重复利用于不同的产品表征信息提取的过程中。
[0015]在本专利技术一实施例中，步骤S3中，仅选择正常产品数据来提取图像表征信息，目的在于应对实际生产中缺陷产品数量较少，收集困难的情况。
[0016]在本专利技术一实施例中，步骤S3中，提取图像表征信息的方法具体如下：
[0017]S31、图像输入预训练的EfficienNet
‑
B5网络模型，在其前向传播中，提取其中9层尺寸分别为48
×
112
×
112，24
×
112
×
112，40
×
56
×
56，64
×
28
×
28，128
×
14
×
14，176
×
14
×
14，304
×7×
7，512
×7×
7，2048
×7×
7的特征图，尺寸格式为：通道数C
×
高H
×
宽W；
[0018]S32、对每层的特征图先后使用自适应平均池化，张量拉平，维度降低处理操作，获得代表该层特征图信息的向量，以上操作将每一通道维度的特征图平均池化到一个值，即最终获得一个维度数等于通道数的向量，即获得的代表9层的特征图向量的维度分别为48，24，40，64，128，176，304，512，2048；
[0019]S33、融合深层和浅层的特征图信息，将9层的向量相连接，作为输入图像的表征信息，即最终获得一个维度为3344的向量。
[0020]在本专利技术一实施例中，步骤S4中，使用高斯混合模型拟合无缺陷产品表征信息的分布，即生成多个高斯分布模型来拟合表征，以应对收集到的图像中产品存在旋转、位置偏移的情况，具体如下：
[0021]S41、高斯混合模型即若干个高斯模型的加权求和，高斯混合模型拟合过程使用EM算法优化多个高斯模型，使之更适合数据的分布，最终获得每个高斯模型的参数，包括均值向量、权重、协方差矩阵；
[0022]S42、对于输入的表征向量x，高斯混合模型可用下式表示：
[0023][0024]其中，N(x|μ
k
,Σ
k
)称为高斯混合模型中的第k个分量，即第k个高斯模型；
[0025]ω
k
是第k个高斯模型的权重，且满足
[0026]μ
k
是第k个高斯模型的均值向量；
[0027]Σ
k
是第k个高斯模型的协方差矩阵。
[0028]在本专利技术一实施例中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，包括如下步骤：S1、预先在ImageNet ILSVRC2012数据集上训练一个EfficienNet
‑
B5网络模型；S2、采集工业产品表面的图像数据，进行图像清理操作；S3、选择正常产品数据即无缺陷产品的图像，使用步骤S1预训练网络模型提取图像表征信息；S4、使用高斯混合模型拟合无缺陷产品表征信息的分布；S5、使用少量缺陷产品数据，计算其表征信息和高斯混合模型的距离的加权求和作为异常值，选择当中的最小值作为缺陷检测阈值；S6、计算测试样本的异常值，利用缺陷检测阈值来判断样本是否属于缺陷产品。2.根据权利要求1所述的基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，步骤S1中，使用在ImageNet数据集上借助分类任务预训练的EfficientNet
‑
B5网络模型，利用ImageNet数据集的内容广泛性，该预训练的EfficientNet
‑
B5网络模型可重复利用于不同的产品表征信息提取的过程中。3.根据权利要求1所述的基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，步骤S3中，仅选择正常产品数据来提取图像表征信息，目的在于应对实际生产中缺陷产品数量较少，收集困难的情况。4.根据权利要求1所述的基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，步骤S3中，提取图像表征信息的方法具体如下：S31、图像输入预训练的EfficienNet
‑
B5网络模型，在其前向传播中，提取其中9层尺寸分别为48
×
112
×
112，24
×
112
×
112，40
×
56
×
56，64
×
28
×
28，128
×
14
×
14，176
×
14
×
14，304
×7×
7，512
×7×
7，2048
×7×
7的特征图，尺寸格式为：通道数C
×
高H
×
宽W；S32、对每层的特征图先后使用自适应平均池化，张量拉平，维度降低处理操作，获得代表该层特征图信息的向量，以上操作将每一通道维度的特征图平均池化到一个值，即最终获得一个维度数等于通道数的向量，即获得的代表9层的特征图向量的维度分别为4...

【专利技术属性】
技术研发人员：叶芸，董泽宇，郭太良，姚剑敏，李德财，
申请(专利权)人：闽都创新实验室，
类型：发明
国别省市：