一种基于深度学习的玻璃缺陷检测方法技术

本发明专利技术公开了一种基于深度学习的玻璃缺陷检测方法，本发明专利技术属于人工智能技术领域，具体的是涉及深度学习的图像识别技术。本发明专利技术包括定义了对普通的高拍摄像头所拍摄的原始玻璃图片的预处理；基于生成式对抗网络中的pix2pix网络对预处理后的玻璃图片进行玻璃边缘的提取；基于局部和全局融合特征的玻璃缺陷多尺度分类器对所提取到的玻璃边缘图片进行缺陷检测，输出为玻璃有无缺陷的分类结果。本发明专利技术在玻璃缺陷检测的效率上明显优于传统的人工肉眼分辨方式，一定程度上减少了玻璃制造过程中的人工开销，并且保证了玻璃缺陷检测模型的较高的检测率和较低的误检率。型的较高的检测率和较低的误检率。型的较高的检测率和较低的误检率。

【技术实现步骤摘要】
一种基于深度学习的玻璃缺陷检测方法


[0001]本专利技术属于人工智能领域，涉及一种基于深度学习的玻璃缺陷检测方法。

技术介绍

[0002]玻璃缺陷检测的研究起步较早，因为玻璃对于城市化和现代工业具有重要意义。对于玻璃厂来说，每天都有大量的玻璃缺陷检测工作，大多还是靠人工筛选。然而，人工识别玻璃缺陷成本高，效率低。现有的大多数玻璃缺陷检测自动化场景严重依赖于大型专业仪器，如超声波检测和线性矩阵扫描仪。专业的玻璃缺陷检测仪器不仅价格昂贵，而且设备的占地空间大，在普通企业中不容易普及。这些企业迫切需要一种低成本的玻璃缺陷检测方案。现有的图像识别方法由于玻璃是透明的，在玻璃识别方面的应用有限。
[0003]目前，针对玻璃缺陷检测所提出的流程中，最为关键的步骤是玻璃边缘的提取。而针对这一关键的步骤，现存的技术方案包括基于传统图像处理方式的边缘提取技术和基于传统卷积神经网络的边缘提取技术。但是，基于传统图像处理方式的边缘提取技术不能清晰地提取到玻璃的边缘图片；而基于传统卷积神经网络的边缘提取技术虽然可以较为清晰地提取到玻璃边缘信息，但同时提取到的还有玻璃所处环境的背景信息，这些背景信息一定程度上对最后的缺陷检测过程的检测率和误检率造成了不利的影响。
[0004]此外，目前，针对玻璃缺陷检测流程中的缺陷检测这一步骤，由于存在玻璃边缘的局部缺陷和玻璃整体存在的全局缺陷，在缺陷检测这一过程中很难兼顾到这两个部分，因而在最后的检测结果中，检测率和误检率不能达到理想的状态。

技术实现思路

[0005]本专利技术的目的在于：为了解决现有的玻璃缺陷检测的技术方案中人力和物力开销大的问题；此外，为了解决现有边缘提取技术中边缘提取不清晰和不能有效忽略无意义的背景信息等问题；同时，为了解决不能有效兼顾局部缺陷检测和全局缺陷检测的问题，本专利技术提出了一种基于深度学习的玻璃缺陷检测方法，涵盖整个玻璃缺陷检测流程。
[0006]本专利技术采用的技术方案如下：
[0007]基于深度学习的玻璃缺陷检测方法，包括如下几个步骤：
[0008]S1：将普通的高拍摄像头下所采集到的玻璃原始图片作为输入图片；
[0009]S2：对输入的玻璃原始图片进行预处理操作，包括裁剪、缩放等，以达到统一所有的原始图片的目的；
[0010]S3：基于生成式对抗网络模型中的pix2pix网络，对预处理后的玻璃原始图片进行玻璃边缘的提取；
[0011]S4：基于局部与全局融合特征算法所设计出的玻璃缺陷多尺度分类器，对所提取得到的玻璃边缘图片进行局部和全局的玻璃缺陷检测；
[0012]S5：输出检测结果，同时计算输出最终的检测率与误检率。
[0013]进一步的，所述S1中，用作输入图片的原始玻璃图片，无需依赖于昂贵的大型专业
设备，普通高拍摄像头下采集到的玻璃图片即可满足要求。
[0014]进一步的，所述S2中，对输入的玻璃原始图片所进行的预处理操作，只需依赖于简单的图像变换操作对输入的原始玻璃图片进行统一即可满足要求。
[0015]进一步的，所述S3中，所采用的玻璃边缘提取方式是基于生成式对抗网络模型中的pix2pix网络。Pix2pix网络模型中包括两部分：生成器(Generator)和判别器(Discriminator)。其中，生成器的目的是生成与人工标注的玻璃边缘图片尽可能相似的玻璃边缘图片，以达到以假乱真的效果；而判别器的目的是将生成器生成的边缘图片与人工标注的边缘图片区分开。二者相互作用，构成了pix2pix这一生成式对抗网络模型。
[0016]进一步的，生成器的设计实现基于U
‑
Net网络，而判别器的设计实现基于PatchGAN。
[0017]进一步的，所述S3中，pix2pix网络的初始损失函数定义为：
[0018]L(G,D)＝E
x,y
[logD(x,y)]+E
x
[log(1
‑
D(x,G(x)))][0019]其中，x表示原始玻璃图片，y表示人工标注玻璃边缘图片，G表示生成器，D表示判别器，D(x，y)表示由判别器所做出的图片x与图片y的差异度判断，G(x)表示生成器根据图片x所生成的图片。
[0020]进一步的，所述S3中，G的作用是生成假的玻璃边缘图像，生成的玻璃边缘图像需要与人工标注的边缘图像非常相似，才能被D判断为真实图像。相反，D的目标是尝试将G生成的玻璃边缘图像从真实的人工标注的边缘图像中分离出来。因此，最终的损失可以表示为：
[0021][0022]进一步的，所述S4中，所采用的基于局部和全局特征融合算法所设计出的玻璃缺陷多尺度分类器是基于Resnet
‑
18网络，即包含卷积层和全连接层共18层的残差网络模型。本专利技术所提出的玻璃缺陷多尺度分类器不仅可以关注到玻璃边缘的局部缺陷，还可以检测出玻璃整体存在的全局缺陷。
[0023]进一步的，玻璃缺陷多尺度分类器的损失函数定义为：
[0024]H(p,q)＝
‑
∑
x
(p(x)logq(x))
[0025]其中，p表示期望得到的输出结果，q表示实际得到的输出结果。
[0026]进一步的，所述S5中，利用输出结果中的检测率和误检率实现对玻璃缺陷检测技术方案效果的评估。
[0027]综上所述，由于采用了上述技术方案，本专利技术的有益效果是：
[0028]1、本专利技术相较于现有的人工筛选和依赖于专业设备的玻璃缺陷检测方案，很大程度上节省了人力和物力开销，并且同时提高了玻璃缺陷检测的效率。
[0029]2、本专利技术所提出的基于pix2pix网络的边缘提取技术方案，不仅可以较为清晰地提取到玻璃的实际边缘，同时也很大程度地削弱了背景信息对缺陷检测这一过程的不利影响。
[0030]3、本专利技术所提出的基于局部与全局融合特征算法的玻璃缺陷多尺度分类器一定程度上可以达到兼顾局部缺陷检测和全局缺陷检测的目的。
[0031]4、本专利技术所实现的基于深度学习的玻璃缺陷检测方法能实现检测率97％和误检率2％以下的检测效果。
附图说明
[0032]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：
[0033]图1是本专利技术具体实施方式的方法流程示意图。
[0034]图2是本专利技术所依赖的pix2pix网络结构示意图。
[0035]图3是本专利技术具体实施方式的玻璃边缘提取效果优化流程示意图。
[0036]图4是本专利技术所提出的玻璃缺陷多尺度分类器的网络结构示意图。
[0037]图5是本专利技术具体实施方式的玻璃缺陷检测效果优化流程示意图。
[0038]图6是本专利技术基于各类边缘提取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的玻璃缺陷检测方法，其特征在于：包括以下步骤,S1：将普通的高拍摄像头下所采集到的玻璃原始图片作为输入图片；S2：对输入的玻璃原始图片进行预处理操作，达到统一所有的原始图片的目的；S3：基于生成式对抗网络模型中的pix2pix网络，对预处理后的玻璃原始图片进行玻璃边缘的提取,得到玻璃边缘图片；S4：基于局部与全局融合特征算法所设计出的玻璃缺陷多尺度分类器，对所提取得到的玻璃边缘图片进行局部和全局的玻璃缺陷检测；S5：输出检测结果，同时计算输出最终的检测率与误检率。2.根据权利要求1所述的一种基于深度学习的玻璃缺陷检测方法，其特征在于：所述S3中，所采用的玻璃边缘提取方式是基于生成式对抗网络模型中的pix2pix网络。3.根据权利要求2所述的一种基于深度学习的玻璃缺陷检测方法，其特征在于：所述Pix2pix网络模型中包括生成器和判别器，其中，生成器的目的是生成与人工标注的玻璃边缘图片尽可能相似的玻璃边缘图片，以达到以假乱真的效果；而判别器的目的是将生成器生成的边缘图片与人工标注的边缘图片区分开；二者相互作用，构成了pix2pix这一生成式对抗网络模型。4.根据权利要求3所述的一种基于深度学习的玻璃缺陷检测方法，其特征在于：所述生成器的设计实现基于U
‑
Net网络，而判别器的设计实现基于PatchGAN。5.根据权利要求2所述的一种基于深度学习的玻璃缺陷检测方法，其特征在于：所...

【专利技术属性】
技术研发人员：刘贵松，解修蕊，黄海莹，叶东升，高强，罗珺方，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：