一种基于卷积神经网络的工件表面缺陷检测方法技术

本发明专利技术公开了一种基于卷积神经网络的工件表面缺陷检测方法。采集工件的各个表面的图像；构造卷积神经网络结构；构造训练样本；训练卷积神经网络的参数；将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像。本发明专利技术进行缺陷检测使用的是全卷积神经网络，该网络的输入为经过预处理的工件原图，经神经网络计算后输出大小与原图相等缺陷标记图，通过对缺陷标记图的分析可以很好的获取缺陷区域的位置、大小以及形状等重要信息。对比传统的缺陷检测方法，该方法可以处理大规模的图像数据，能够减少手工设计特征的巨大工作量，可以同时处理多种不同的缺陷类别以及能获得像素级的缺陷区域信息。

【技术实现步骤摘要】
一种基于卷积神经网络的工件表面缺陷检测方法
本专利技术涉及缺陷检测的
，尤其涉及一种基于卷积神经网络的工件表面缺陷检测方法。
技术介绍
工业产品零部件质量是工业生产中关键性的环节，直接关系到整体系统级产品的质量。现今，我国提出智能制造2025规划以及工业4.0发展目标，目的是为了把我国工业从原来的依靠数量转换到依靠质量的新工业发展道路上来。因此，实现工件的质量检测的自动化和智能化刻不容缓。然而，现今的大部分工业部件制造商仍旧采用人工的方法去检测和控制产品的质量，这是一个耗时耗工的环节，企业需要投入大量的人力来保证产品质量。人工检测方法显然存在着许多不足的地方，如耗费较多的时间和费用，工人的不断重复检测容易使人疲劳和厌倦，导致检测结果主观，不连续，不可靠。这些不足的地方经常会导致产品检测出现问题，而使得产品的质量得不到保证。本专利技术将采用卷积神经网络作为工件缺陷检测的主要方法，以实现检测过程的自动化，具有重要的应用价值。
技术实现思路
为了获得像素级的缺陷检测结果以及更好的普适性，本专利技术提供了一种基于卷积神经网络的工件表面检测方法。本专利技术的目的是通过以下技术方案来实现的：一种基于卷积神经网络的工件表面缺陷检测方法，包括以下步骤：(1)多路图像采集：利用多个摄像头与光源的组合，采集工件的各个表面的图像；(2)图像的预处理：目标区域切割，图像增强以及改变图片大小；(3)构造用于缺陷检测的卷积神经网络结构：网络的设计采用全卷积神经网络(FullyConvolutionalNetworks，FCN)结构组成的语义分割网络，全卷积神经网络结构仅由多个卷积层以及反卷积层组成，不包含全连接层，是一种从图像到图像的卷积神经网络结构；(4)构造训练样本：以工件的原图像作为语义分割网络的输入，手工标注的标签图作为网络的标签；(5)训练卷积神经网络：采用反向传播算法训练卷积神经网络的参数；(6)将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像；(7)根据获得标记的信息判断工件的缺陷种类及程度。进一步地，所述步骤(1)中，多路图像采集包括以下子步骤：(1.1)摄像头通过网口或USB与工控机连接，光源通过串口与工控机连接；(1.2)工件到达指定位置触发摄像头，获取工件各面图像；(1.3)根据拍摄面的不同，利用串口控制光源方向与强度；(1.4)把图像通过数据线传到工控机等待处理。进一步地，所述步骤(2)中，图像的预处理包括：(2.1)目标区域分割：遍历原图I，以阈值threshold找到工件区域的上下左右边界，对原图进行抠图，获得工件图像I2；(2.2)图像增强：对工件图像I2进行对数图像增强，获得增强后的图像I3，公式如下：其中，OldPixel为原图像素值，NewPixel为增强后的图像像素值；(2.3)改变图片大小：把不同大小的图像I3，利用双线性插值法调整为统一的大小。进一步地，所述步骤(3)中，所设计的全卷积神经网络结构主要由多个卷积层和反卷积层组成，卷积层位于网络结构前半部分，反卷积层位于网络结构后半部分，卷积层和反卷积层数量相等，相邻的两层之间用BatchNormalization层和PRelu层连接，输入层把图片数据从[0,255]归一化到[-1,1]，输出层使用Tanh层，同样使输出数据的范围保证在[-1,1]。进一步地，所述步骤(4)中，所构造的训练数据中，每一个训练数据均由两部分组成，第一部分为工件的原始图像，图像中包含工件的全貌，第二部分是标签图，标签图利用原图生成，生成的方法如下：(4.1)原图中的不同区域(背景、工件非缺陷区、工件缺陷区等)分别对应一个标签，标签的形式为图像中不同的颜色；(4.2)手工描点，利用凸包把不同的区域包裹起来；(4.3)把区域对应的标签覆盖到原图中，形成标签图。进一步地，所述步骤(5)中，卷积神经网络的训练方法，利用BP算法更新卷积神经网络参数，训练的具体步骤如下：(5.1)初始化权重：卷积神经网络的权重初始化采用xavier方法，该方法使参数以均匀分布的方式在的范围内被初始化，其中a为参数所在层的输入维度，b为参数所在层的输出维度；(5.2)确定学习率λ以及训练次数；(5.3)输入样本到卷积神经网络中，计算每一层以及输出层的输出；(5.4)计算输出与标签的代价函数；(5.5)利用代价函数计算出每一层的残差，并求出该层的参数的梯度；(5.6)根据学习率更新每一层的权重。进一步地，所述步骤(5.4)中，卷积神经网络的代价目标为图像与图像之间的差异度，所以训练卷积神经网络所使用的代价函数使用L1loss代价函数，表达式如下：其中n为输出的图片的像素量，li为标签图的像素值，yi为卷积神经网络的输出值。进一步地，所述步骤(6)中，训练好的卷积神经网络用于检测图像中工件的缺陷像素点，输入图像为待检测工件的原图，经过卷积神经网络的计算后，输出为一张结果图像，图像大小与输入图像大小相等，其中被检测所得的缺陷区域将被标记覆盖。进一步地，所述步骤(7)中，根据获得标记的信息判断工件的缺陷种类及程度，对于已经获得的标记图，图中对应于原图中的缺陷部分的像素点被特定的颜色标签覆盖，根据该区域的大小，周长等传统图像特征，估计工件缺陷的程度。本专利技术的有益效果是：本专利技术进行缺陷检测使用的是全卷积神经网络，该网络的输入为经过预处理的工件原图，经神经网络计算后输出大小与原图相等缺陷标记图，通过对缺陷标记图的分析可以很好的获取缺陷区域的位置、大小以及形状等重要信息。对比传统的缺陷检测方法，该方法可以处理大规模的图像数据，能够减少手工设计特征的巨大工作量，可以同时处理多种不同的缺陷类别以及能获得像素级的缺陷区域信息。附图说明图1为采样结构示意图；图2为用于生成缺陷标记图的卷积神经网络结构；图3为训练样本图，(a)为工件原图，(b)为标签图。具体实施方式以下结合附图和实施实例对本专利技术作进一步说明。本专利技术提供了一种基于卷积神经网络的工件表面缺陷检测方法，包括以下步骤：(1)多路图像采集。如图1所示，利用多个摄像头与光源的组合，采集工件的各个表面的图像。步骤如下：(1.1)摄像头通过网口或USB与工控机连接，光源通过串口与工控机连接，本方案利用两台工控机，每个工控机控制两个摄像头和两个光源。(1.2)工件到达指定位置触发信号开关，摄像头获取一帧数据；(1.3)根据拍摄面的不同，利用串口控制光源方向与强度；(1.4)把图像通过数据线传到工控机等待处理。(2)图像的预处理。目标区域切割，图像增强以及改变图片大小。(2.1)目标区域分割。遍历原图I，根据图像中工件与背景的亮度差异确定threshold，以阈值threshold找到工件区域的上下左右边界，对原图进行抠图，获得工件图像I2；(2.2)图像增强。对I2进行对数图像增强，获得图像I3，公式如下：其中，OldPixel为原图像素值，NewPixel为增强后的图像像素值。(2.3)改变图片大小。把不同大小的I3，利用双线性插值法调整为统一的大小，在本实施方法中，我们把图像调整为256*256像素的三通道图像。(3)构造用于缺陷检测的卷积神经网络结构。网络的设计采用全卷积神经网络(FullyConvolutionalNetworks，F本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，包括以下步骤：(1)多路图像采集：利用多个摄像头与光源的组合，采集工件的各个表面的图像；(2)图像的预处理：目标区域切割，图像增强以及改变图片大小；(3)构造用于缺陷检测的卷积神经网络结构：网络的设计采用全卷积神经网络结构组成的语义分割网络，全卷积神经网络结构仅由多个卷积层以及反卷积层组成，不包含全连接层，是一种从图像到图像的卷积神经网络结构；(4)构造训练样本：以工件的原图像作为语义分割网络的输入，手工标注的标签图作为网络的标签；(5)训练卷积神经网络：采用反向传播算法训练卷积神经网络的参数；(6)将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像；(7)根据获得标记的信息判断工件的缺陷种类及程度。

【技术特征摘要】
1.一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，包括以下步骤：(1)多路图像采集：利用多个摄像头与光源的组合，采集工件的各个表面的图像；(2)图像的预处理：目标区域切割，图像增强以及改变图片大小；(3)构造用于缺陷检测的卷积神经网络结构：网络的设计采用全卷积神经网络结构组成的语义分割网络，全卷积神经网络结构仅由多个卷积层以及反卷积层组成，不包含全连接层，是一种从图像到图像的卷积神经网络结构；(4)构造训练样本：以工件的原图像作为语义分割网络的输入，手工标注的标签图作为网络的标签；(5)训练卷积神经网络：采用反向传播算法训练卷积神经网络的参数；(6)将待测工件的图像输入到训练好的卷积神经网络中，获取像素级的缺陷区域标记图像；(7)根据获得标记的信息判断工件的缺陷种类及程度。2.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(1)中，多路图像采集包括以下子步骤：(1.1)摄像头通过网口或USB与工控机连接，光源通过串口与工控机连接；(1.2)工件到达指定位置触发摄像头，获取工件各面图像；(1.3)根据拍摄面的不同，利用串口控制光源方向与强度；(1.4)把图像通过数据线传到工控机等待处理。3.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(2)中，图像的预处理包括：(2.1)目标区域分割：遍历原图I，以阈值threshold找到工件区域的上下左右边界，对原图进行抠图，获得工件图像I2；(2.2)图像增强：对工件图像I2进行对数图像增强，获得增强后的图像I3，公式如下：其中，OldPixel为原图像素值，NewPixel为增强后的图像像素值；(2.3)改变图片大小：把不同大小的图像I3，利用双线性插值法调整为统一的大小。4.根据权利要求1所述的一种基于卷积神经网络的工件表面缺陷检测方法，其特征在于，所述步骤(3)中，所设计的全卷积神经网络结构主要由多个卷积层和反卷积层组成，卷积层位于网络结构前半部分，反卷积层位于网络结构后半部分，卷积层和反卷积层数量相等，相邻的两层之间用BatchNormalization层和PRelu层连接，输入层把图片数据从[0,255]归一化到[-1,1]，输出层使用Tan...

【专利技术属性】
技术研发人员：刘云海，梁智聪，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33