基于深度学习的玻璃缺陷分类与检测方法及系统技术方案

本申请公开了一种基于深度学习的玻璃缺陷分类与检测方法及系统，涉及玻璃缺陷识别的技术领域。该方法包括：获取待分类、待检测的玻璃原始图像；对所述待分类、待检测的玻璃原始图像进行预处理操作；基于VGG

【技术实现步骤摘要】
基于深度学习的玻璃缺陷分类与检测方法及系统


[0001]本申请属于玻璃缺陷识别的
，尤其涉及一种基于深度学习的玻璃缺陷分类与检测方法及系统。

技术介绍

[0002]玻璃生产过程中经常出现表面不平整或内部含有气泡和杂质等玻璃缺陷。由于这些缺陷很多并不明显，使用人工检测往往会出现漏检、错检的错误，给汽车挡风玻璃、液晶显示器和电脑显示器等高精密平板玻璃的玻璃等级划分和选择带来很大的麻烦。基于这种情况，迫切需要一种更自动化并有效的检测方法。
[0003]目前，部分机器学习算法已成功应用至玻璃缺陷检测中。Zhao等人在2011年发表的A method for detection and classification of glass defects in low resolution images(一种低分辨率图像中玻璃缺陷的检测和分类方法)中使用SVM和经典机器视觉算法来解决玻璃缺陷检测问题。这个工作依赖手工特征提取，例如前景二值化，并假设非常严格的条件才能成功运作。Tabernik等人在2019年发表的Segmentation
‑
based deep
‑
learning approach for surface
‑
defect detection(基于分割的深度学习方法用于表面缺陷检测)中提出了一种深度神经网络架构，该架构允许对图像表面进行分割，然后将提取的特征传递给决策网络以检测表面裂纹。这种方法改善了检测结果，但是所提出的方法只关注裂纹检测。

技术实现思路

[0004]有鉴于此，本申请提供一种基于深度学习的玻璃缺陷分类与检测方法及系统，目的在于(1)实现玻璃缺陷的自动分类，训练深度学习网络提取玻璃全局特征并进行缺陷类型的识别；(2)实现玻璃缺陷的精确检测，利用训练好的玻璃缺陷分类网络，进一步训练深度学习网络对缺陷的位置进行精确的定位，标记检测出的缺陷位置与类别。
[0005]为实现上述目的，本申请采用的技术方案为：
[0006]一方面，本申请提供了一种基于深度学习的玻璃缺陷分类与检测方法，所述方法应用于计算机设备当中，所述方法包括以下步骤：
[0007]S1、获取待分类、待检测的玻璃原始图像；
[0008]S2、对所述待分类、待检测的玻璃原始图像进行预处理操作；
[0009]S3、基于VGG
‑
16网络并修改网络最后的全连接层，使VGG
‑
16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；
[0010]S4、基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；
[0011]S5、通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。
[0012]进一步地，所述步骤S2包括：将所述玻璃原始图像的尺寸进行裁剪以及缩放。
[0013]进一步地，所述步骤S3包括：将VGG
‑
16网络最后的全连接层分出两个分支，分别输
出包含的缺陷数目以及缺陷种类；修改全连接层后，损失函数修改为：
[0014][0015]其中，L1表示玻璃缺陷分类网络损失函数的值；表示判断内部等式是否成立的函数，若内部等式成立则为1，否则为0；n表示玻璃包含缺陷种类的数目；y
i
表示该玻璃图片是否包含i种缺陷；a
i
表示网络预测该玻璃图片包含i种缺陷的概率；y
′
i
表示该玻璃图片是否包含第i类缺陷；a
′
i
表示网络预测该玻璃图片包含第i类缺陷的概率。
[0016]进一步地，所述步骤S3还包括：利用VGG
‑
16在大型图像数据库ImageNet的训练结果，结合分段微调策略，对VGG
‑
16的卷积层与全连接层使用不同的学习率来学习得到玻璃缺陷分类网络；调整后的学习策略为：
[0017][0018][0019]其中，θ
conv
表示卷积层的所有参数；α
conv
表示卷积层训练时的学习率；θ
fc
表示全连接层的所有参数；α
fc
表示全连接层训练时的学习率。
[0020]进一步地，所述步骤S4中，所述进一步训练玻璃缺陷检测网络，包括：
[0021]采用编码器解码器结构设计玻璃缺陷检测网络，将训练好的玻璃缺陷分类网络中的卷积层作为编码层，解码层用于不断提高特征图的大小，最终输出与原始输入玻璃图像尺寸一致的玻璃缺陷检测图；玻璃缺陷检测网络的损失函数为：
[0022][0023]其中，L2表示玻璃缺陷检测网络损失函数的值；n表示玻璃缺陷类别数目；表示判断内部等式是否成立的函数；Γ(
·
)用于计算内部像素最大值所在的维度；(w，h)表示图像像素点位置；W表示图像宽度；H表示图像高度；p
i
表示该像素是否包含第i类缺陷；b
i
表示网络预测该像素包含第i类缺陷的概率。
[0024]进一步地，所述步骤S4还包括：利用VGG
‑
16在大型图像数据库ImageNet的训练结果，结合分段微调策略，结合分段微调策略，对玻璃缺陷检测网络中的编码层与解码层采用
不同的学习率来训练网络；学习策略为：
[0025][0026][0027]其中，θ
enc
表示编码层的所有参数；β
enc
表示编码层训练时的学习率；θ
dec
表示解码层的所有参数；β
dec
表示解码层训练时的学习率。
[0028]进一步地，所述步骤S5包括：将所述玻璃图像输入到训练好的玻璃缺陷检测网络中，得到玻璃缺陷检测结果；其中，所述检测结果为图像格式，所述图像的每一个像素值表示原始图像对应位置为无缺陷，或有缺陷及对应的缺陷种类。
[0029]另一方面，本申请还提供了一种根据上述任一所述的基于深度学习的玻璃缺陷分类与检测方法的系统，包括：
[0030]获取模块，用于获取待分类、待检测的玻璃原始图像；
[0031]图像预处理模块，用于对所述待分类、待检测的玻璃原始图像进行预处理操作；
[0032]识别模块，用于基于VGG
‑
16网络并修改网络最后的全连接层，使VGG
‑
16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；
[0033]检测模块，用于基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；
[0034]输出模块，用于通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。
[0035]本申请提供的技术方案带来的有益效果至少包括：
[0036]本申请通过获取待分类、待检测的玻璃原始图像；对所述待分类、待检测的玻璃原始图像进行预处理操作；基于VGG
‑...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述方法应用于计算机设备当中，所述方法包括以下步骤：S1、获取待分类、待检测的玻璃原始图像；S2、对所述待分类、待检测的玻璃原始图像进行预处理操作；S3、基于VGG
‑
16网络并修改网络最后的全连接层，使VGG
‑
16网络能够识别预处理后的玻璃原始图像包含的缺陷数目和缺陷种类；S4、基于训练后的玻璃缺陷分类网络，进一步训练玻璃缺陷检测网络；S5、通过所述玻璃缺陷检测网络检测玻璃缺陷所在的具体位置与类别，输出检测结果。2.根据权利要求1所述的基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述步骤S2包括：将所述玻璃原始图像的尺寸进行裁剪以及缩放。3.根据权利要求1所述的基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述步骤S3包括：将VGG
‑
16网络最后的全连接层分出两个分支，分别输出包含的缺陷数目以及缺陷种类；修改全连接层后，损失函数修改为：其中，L1表示玻璃缺陷分类网络损失函数的值；表示判断内部等式是否成立的函数，若内部等式成立则为1，否则为0；n表示玻璃包含缺陷种类的数目；y
i
表示该玻璃图片是否包含i种缺陷；a
i
表示网络预测该玻璃图片包含i种缺陷的概率；y
i'
表示该玻璃图片是否包含第i类缺陷；a
i'
表示网络预测该玻璃图片包含第i类缺陷的概率。4.根据权利要求3所述的基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述步骤S3还包括：利用VGG
‑
16在大型图像数据库ImageNet的训练结果，结合分段微调策略，对VGG
‑
16的卷积层与全连接层使用不同的学习率来学习得到玻璃缺陷分类网络；调整后的学习策略为：习策略为：其中，表示偏微分；θ
conv
表示卷积层的所有参数；α
conv
表示卷积层训练时的学习率；θ
fc
表示全连接层的所有参数；α
fc
表示全连接层训练时的学习率。5.根据权利要求1所述的基于深度学习的玻璃缺陷分类与检测方法，其特征在于，所述步骤S4中，所述进一步训练玻...

【专利技术属性】
技术研发人员：邱晓荣，史荧中，
申请(专利权)人：无锡职业技术学院，
类型：发明
国别省市：