一种基于深度学习网络DenseNet的AOI缺陷检测方法技术

本发明专利技术公开了一种基于深度学习网络DenseNet的AOI缺陷检测方法，包括数据增强、缺陷检测网络和损失函数设计，包括：对工业产品缺陷数据进行扩充；设计缺陷检测网络学习产品数据特征实现缺陷识别；设计损失函数约束检测网络模型。本发明专利技术能在生产检测中快速识别出有缺陷的产品，并且识别精度高，甚至能识别出人眼难以观测到的细微缺陷，减少漏检与误检，还可以及时调整检测性能；模型的轻量化还降低了实际部署时的存储资源的开销，减少了计算时间；在样本类别极不平衡的情况下也可以很好地学习到正负样本特征，实现快速准确检测的效果。果。果。

【技术实现步骤摘要】
一种基于深度学习网络DenseNet的AOI缺陷检测方法


[0001]本专利技术涉及图像检测
，涉及AOI(Automated Optical Inspection，自动光学检测)缺陷检测领域，具体涉及一种基于深度学习网络DenseNet(密集连接网络)的AOI缺陷检测方法。

技术介绍

[0002]大到飞机机翼，小到芯片晶粒，工业制品在现代社会中无处不在。工业缺陷检测，旨在发现各种工业制品的外观瑕疵，是保障产品质量、维持生产稳定的重要技术之一。以往的缺陷检测需要人工筛查，成本高、效率低，难以覆盖大规模的质检需求。近年来，随着工业成像、计算机视觉和深度学习等领域的新技术层出不穷，基于视觉的工业缺陷检测技术得到了长足的发展，成为了针对产品外观质检的一种有效的解决方案，引发了学术界和工业界的强烈关注。
[0003]当前，对于工业缺陷检测技术主要包括：
[0004](1)基于传统方法：
[0005]该方法依靠正常样本呈现出的图像特征进行比较，或基于传统机器学习模型对正常样本进行描述。对于不同的背景，存在相应合适的方法。当各个样本在对应的非缺陷部位高度一致，仅在缺陷区域存在差异时，模板匹配法可以基于两图之差简单快速直接地实现缺陷的定位。为了提升检测的精度，往往通过对特征点、局部线性轮廓及局部区域等手工设计特征进行匹配，将模板与待测图像先尽量对齐。只要能保证成像条件一致，即使产品的背景排布复杂也能完成检测。然而该方法难以处理复杂而多样的纹理背景，也容易将噪声误检为缺陷；
[0006](2)基于深度学习的方法：
[0007]1)其中深度学习的方法里又存在基于图像相似度的方法，该方法基于图像相似度的方法在图像像素层面进行比较，其核心思想是重建出与输入样本最相近的正常图像，两者仅在缺陷区域存在差别，因而，生成图与输入图像的差异图可表示缺陷存在的概率，既可以用于判断整图是否包含异常，也可以取阈值来得到缺陷的分割结果。此类方法常使用自编码模型与生成式模型，包括自编码器(Auto
‑
Encoder，简称AE)、变分自编码器(Variational Auto
‑
Encoder，简称VAE)、生成对抗模型(Generative Adversarial Networks，简称GAN)等；但目前此类方法通常存在模型训练不易收敛且模型不够轻量化，无法大规模部署的问题。
[0008]2)基于图像恢复的方法：
[0009]基于图像恢复的方法将缺陷视为噪声，将图像恢复视为去噪过程。此类方法的核心思想是在正常图像上加入缺陷后，训练网络模型将其恢复为对应的原始图像。常用的模型包括AE和U
‑
Net等。训练完成后，模型具有根据上下文消除缺陷的能力。测试阶段利用恢复图像和输入图像的重建误差进行缺陷分割。由于模型的输入与输出不对等，此类方法能一定程度上避免恒等映射的问题。虽然此类方法的运算耗时较短，但分类检测的识别精度
较低。

技术实现思路

[0010]本专利技术的目的是提出一种基于深度学习网络DenseNet的AOI缺陷检测方法，该方法在生产检测中快速识别出有缺陷的工业产品，并且识别精度高，易部署。
[0011]实现本专利技术目的的技术方案如下：
[0012]一种基于深度学习网络DenseNet的AOI缺陷检测方法，包括数据增强、缺陷检测网络和损失函数设计，包括如下步骤：
[0013]步骤一，对工业产品数据进行扩充缓解样本类别不平衡问题：
[0014]类不平衡问题在工业缺陷检测的数据中极为常见，为了能让深度学习网络模型可以均衡地学习到数据中正负样本的特征，避免过拟合，在模型训练之前首先对数据中的缺陷数量进行扩充；对于工业产品上不同位置的缺陷图像，分别进行旋转、镜像数据增强操作，为了尽可能避免过拟合，在训练集中关于缺陷产品的数据加入旋转45
°
和135
°
的图像数据，同时还加入了对原始缺陷产品图像进行水平镜像和垂直镜像后的数据；在测试集中加入的则是旋转了90
°
、180
°
和270
°
的图像数据，同时加入对原始缺陷产品图像进行了同时水平和垂直镜像后的数据；
[0015]正负样本指正常和缺陷样本，其中正样本指正常样本，负样本指缺陷样本；
[0016]步骤二，设计缺陷检测网络学习工业产品数据特征实现缺陷识别：
[0017]深度学习检测网络主要包括核心的Dense Blocks和Dense Blocks之间的Transition Layers，Dense Block模块的层数为5，即具有5个BN+Relu+Conv(3*3)这样的layer，网络增长率为4，即每一个layer输出的feature map的维度为4；这里由于DenseNet的每一个Dense Block模块都利用到了该模块中前面所有层的信息，即每一个layer都和前面的layer有highway的稠密连接，假设一个具有L层的网络，那么highway稠密连接数目为L*(L+1)/2，和Resnet(残差神经网络)不同的是，这里的连接方式得到的feature map做的是concat操作，而Resnet中做的是elementwise操作，Transition layer这个部分主要是为了减少计算量，若是没有这一环节的话，图像尺寸是不会变化的，以DenseNet为检测模型的骨干网络可以解决深层网络的梯度消失问题，加强特征在网络中的传播，减少模型的参数；
[0018]步骤三，设计损失函数约束检测网络模型的训练过程：
[0019]为了控制AOI缺陷检测模型能收敛到可以准确识别给定图像中是否存在缺陷的状态，通过损失函数对网络模型的预测结果和数据中对应的参照样本计算网络预测值与实际参照结果值的误差，并通过卷积网络的反向传播使该误差值能指导AOI缺陷检测模型调整自身网络各层参数；具体地，采用带权重的交叉熵损失函数Ls约束检测网络模型训练过程，模型训练过程中误差较大时，梯度也大，梯度下降也较快，避免了某些情况下激活函数进入饱和区以及梯度消失的问题，具体见下式：
[0020][0021]式中，i表示样本索引，N表示样本类别的数量，y
(i)
表示第i个类别的真实的标签值，网络模型预测的第i个类别的标签值。
[0022]本专利技术提供了一种能解决AOI缺陷检测效率低下的基于DenseNet网络的缺陷检测模型，该方法是一种以深度学习为基础的图像识别算法，通过对各类缺陷图像数据进行学习，实现在生产检测中快速识别出有缺陷的产品，并且识别精度高，甚至能识别出人眼难以观测到的细微缺陷，减少了漏检与误检，还可以及时调整检测性能。其中本专利技术设计的数据扩充策略能很好的解决原始数据中因为真实缺陷数据较少而产生的类不平衡的问题；DenseNet网络高效提取图像特征信息的能力可以帮助缺陷检测模型准确学习到数据中各个类别的特征信息提供检测的精度；选用的轻量化DenseNe本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习网络DenseNet的AOI缺陷检测方法，其特征在于，包括数据增强、缺陷检测网络和损失函数设计，包括如下步骤：步骤一，对工业产品数据进行扩充：在模型训练之前首先对数据中的缺陷数量进行扩充；对于工业产品上不同位置的缺陷图像，分别进行旋转、镜像数据增强操作，在训练集中关于缺陷产品的数据加入旋转45
°
和135
°
的图像数据，同时还加入了对原始缺陷产品图像进行水平镜像和垂直镜像后的数据；在测试集中加入旋转了90
°
、180
°
和270
°
的图像数据，同时加入对原始缺陷产品图像进行了同时水平和垂直镜像后的数据；步骤二，设计缺陷检测网络学习工业产品数据特征实现缺陷识别：深度学习检测网络主要包括核心的Dense Blocks和Dense Blocks之间的Transition Layers，Dense Block模块的层数为5，即具有5个BN+Relu+Conv(3*3)这样的l...

【专利技术属性】
技术研发人员：刘振丙，龚俊名，路皓翔，王文颢，范涛，涂鹏智，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：