一种基于深度学习的工业品不规则缺陷检测方法技术

一种基于深度学习的工业品不规则缺陷检测方法，包括：先对采集到的样本图像进行图像增强处理，使缺陷更加明显；然后，以卷积神经网络CNN为基础，结合SSD目标识别模型构建缺陷检测网络基本模型，并合理的设计模型参数；最后，采用非极大值抑制算法减少预测框的数量，采用数据增强操作来扩大数据集，增加网络的训练量，可以有效地提高网络识别性能，解决不规则缺陷的检测难题。本发明专利技术在不规则缺陷检测、存在干扰缺陷检测、检测实时性等方面表现优于传统的检测方法，能够满足企业对于一般工业品视觉检测的要求。

An irregular defect detection method of industrial products based on deep learning

【技术实现步骤摘要】
一种基于深度学习的工业品不规则缺陷检测方法
本专利技术涉及一种基于深度学习的工业品不规则缺陷检测方法。技术背景在工业生产中，工业品的质量问题主要表现在生产缺陷、装配缺陷、各种表面缺陷、产品与设计不符等问题，这些质量问题又受多方面因素影响，诸如生产设备、操作人员、加工工艺等。其中，产品的表面缺陷又是工业品的质量缺陷的主要表现形式。传统的表面缺陷检测方法是人工目视检测，也就是在特定环境下的人眼目视识别，但这样检测的方法存在着很多的弊端，如劳动强度大、工作效率低、成本较高，易受检测人员素质、经验影响等。工业化大生产带来了产量的快速提升，也对缺陷检测效率带来了考验，得益于计算机视觉技术的快速发展，出现了许多基于计算机视觉技术的自动化检测方法，相较于传统的人工检测方法，自动化缺陷检测技术具有检测效率高、检测数据可保存、成本低等优点。在所有的自动化检测技术中，应用最为广泛的当属机器视觉检测。机器视觉检测技术，是通过计算机的图像处理算法对采集到的数字图像进行处理，获取到目标的特征信息，通过计算机的判断，反馈结果给执行器，进而控制执行器达到预定的动本文档来自技高网...

【技术保护点】
1.一种基于深度学习的工业品不规则缺陷检测方法，包括如下步骤：/n步骤一，图像增强处理；/n图像灰度直方图描述的是图像中具有该灰度级的像素点的个数；通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图；/n每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响；/n1.1)直方图均衡化；/n图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度...

【技术特征摘要】
1.一种基于深度学习的工业品不规则缺陷检测方法，包括如下步骤：
步骤一，图像增强处理；
图像灰度直方图描述的是图像中具有该灰度级的像素点的个数；通常以横轴表示灰度级，以纵轴表示每一灰度级的像元数个数或该像元数占总像元数的比例值，以此做出的条形统计图即为灰度直方图；
每幅图像都可以做出灰度直方图，并且可以根据图像的直方图分布来确定图像质量，因此，选择采用直方图均衡化和直方图匹配的方法，通过改变图像的灰度直方图来改变图像的显示效果，从而使图像中的缺陷更加明显，减少干扰因素的影响；
1.1)直方图均衡化；
图像的直方图表现了图像的灰度分布情况，当直方图的灰度集中分布在低值区域时，图像的亮度较低；当直方图的灰度集中在高值区域时，图像亮度较高；当直方图集中在中值区域时，得到的是低对比度的图像；当直方图分布较为均匀且分布较广时，得到的是高对比度的图像；因此，可以采用使图像灰度级均匀分布的方法，来提高图像的对比度，使图像变得清晰；
直方图均衡化的具体操作步骤如下所示：
(S1)统计直方图各灰度级；
首先，设变量r表示图像中像素灰度级，对灰度级进行归一化处理，若图像的灰度级为{0,1,2,…,L-1}，则



其中，0≤r≤1，L为灰度级层次数；
(S2)计算出对应的概率密度；
因为图像的像素灰度级是在[0,1]之间随机分布的，所以可用概率密度函数来表示图像灰度级的分布；而在离散形式下，用rk代表离散灰度，用Pr(rk)代表灰度rk出现的概率：



其中，nk为图像中出现rk这种灰度的像素数，n是图像中的像素总数，而nk/n就是概率论中的频数；
(S3)求累计分布函数；
图像进行直方图均衡化的函数表达式为:



其中，k为灰度级数；
(S4)求出每个灰度级对应的输出灰度级；
经过下式的反变换过程得到输出灰度级：
ri＝T-1(Si)(4)
(S5)映射到新的图像，得到均衡化处理后的直方图；
1.2)直方图匹配；
直方图匹配就是通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法；该方法需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图；
直方图匹配的需要对两个图像的直方图都做均衡化处理，使其变成归一化的均匀直方图；以此均匀直方图起到媒介作用，再对参考图像做均衡化的逆运算即可；可以说，直方图均衡化是直方图匹配的桥梁，需要先做直方图均衡化才可以做直方图匹配；
直方图匹配的具体操作步骤如下所示：
(T1)按照步骤1.1)将原始图像进行均衡化处理；
(T2)规定希望的灰度概率密度函数，计算它的累计分布函数G(z)；



其中，z分别是匹配处理后的图像灰度级，Pz(z)表示希望得到的处理后的图像的概率密度函数；
(T3)目标图像和参考图像具有相同的密度函数，因此，可以计算得到直方图匹配处理后的图像灰度值z；
z＝G-1[T(r)]＝G-1[s](6)
其中，r是匹配处理前的图像灰度级，s是输入的图像做均衡化处理的结果；
将原始图像经过图像增强处理后，作为图像样本，用作以下步骤的输入；
步骤二，构建网络模型；
以VGGNet-16为基础网络的SSD网络结构图的网络框架分为两部分：基础网络、附加网络；基础网络为截断的VGGNet-16网络，附加层由Conv6、Conv7卷积层以及Conv8、Conv9、Conv10、Conv11这几组卷积层构成，目标物体的检测是在这些不同尺度的特征图上同时进行的，不同尺度的特征图用于预测不同尺度大小的目标物体；
SSD网络结构具体参数如下所示：
(1)输入层：分辨率为300×300像素大小的RGB三通道图像；
(2)基础网络：基础网络是以VGG16为基础的CNN网络结构，用于提取特征图，共5组13个卷积层，包括第一组：Conv1_1、Conv1_2；第二组：Conv2_1、Conv2_2；第三组：Conv3_1、Conv3_2、Conv3_3；第四组：Conv4_1、Conv4_2、Conv4_3；第5组：Conv5_1、Conv5_2、Conv5_3；其中，Conv4_3是特征提取层；
对于每一层网络具体的参数设置，从卷积层和池化层两方面入手；
卷积层的主要参数包括卷积核大小、卷积核个数、滑动步长以及存在的网络层数4个方面；5层卷积层的卷积核大小都是3×3，以1为滑动步长，卷积核的个数逐层增加，分别是64、128、256、512、512；前两组卷积层有2个卷积层，后三组卷积层则有3个卷积层；
池化层的主要参数包括池化方式、池化核尺寸、滑动步长以及池化类型数4个方面；池化方式选择最大池化方式；池化核的大小关系到提取的特征图尺寸，将前4个池化层Pool1、Pool2、Pool3、Pool4的池化核尺寸均设为2×2，又因为在经过第5层池化层Pool5池化操作后得到的特征图需要作为附加网络的输入数据，因此，将Pool5的池化核大小设置为3×3；最后，5层池化层的滑动步长均为1，池化类型为valid，valid类型的池化方式不提取特征矩阵的边界信息；
(3)附加网络：附加网...

【专利技术属性】
技术研发人员：张烨，樊一超，陈威慧，郭艺玲，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33