一种基于改进的U-net网络的缺陷检测方法技术

本发明专利技术涉及一种基于改进的U‑net网络的缺陷检测方法，用于对平面产品进行缺陷检测，所述方法包括：利用U‑net网络对一批训练图像进行训练，所述训练图像包括多个正常类样本和多个缺陷样本；使用Resnet网络代替U‑net网络的encode部分。Resnet网络包括多个残差模块，经过每一个残差模块对应进行一次最大池化操作，经过每一个残差模块和一次最大池化操作后得到对应的残差特征图。本发明专利技术提高了训练模型预测的准确度，增大了网络的感受野，保持原始图像更多的特征信息，能够更充分的保持底层的特征，能够更快的使得缺陷特征凸显，尤其对于玻璃等平坦场景中的产品缺陷检测的准确度。

【技术实现步骤摘要】
一种基于改进的U-net网络的缺陷检测方法
本专利技术涉及利用U-net网络对产品图像进行缺陷检测
，尤其是检测玻璃等平坦产品的缺陷检测。
技术介绍
U-net网络(分割网络)常用于图像分割任务，如图1所示，图1中左半部分为特征提取部分，每经过一次池化层，特征图就会减少一半的尺度，图1中包括5个尺度。图1中右半部分为上采样部分，每上采样一次，就和特征提取部分对应的通道数相同的特征图相融合，U-net网络在图像分割中的优势主要有两点，其一是可以实现多尺度的输入，其二是比较适合较高分辨率图像的分割。目前U-net网络主要用于医疗影像的分割，U-net网络的encode部分(编码部分)下采样4次，一共下采样16倍，同时，U-net网络的decode部分(解码部分)也相应的上采样4次，将得到的高级featuremap(特征图)恢复到原输入图像的分辨率，相比于其他分割网络，U-net网络不是直接在高级语义特征上进行监督和loss计算，而是通过4次上采样过程，在同一个尺寸的featuremap中进行拼接。这样能保证恢复出来的特征图能够融合更多的底层和高层网络的特征，从而进行多尺度预测。U-net网络的4次上采样也使得边缘信息更加精细，医疗影像因为较为简单，结构也相对固定，基本都是固定器官的成像，同时医学图像的数据量较少，不能用过深的网络模型，参数过多，很容易导致过拟合。U-net网络适合的的场景是高分辨率图像(提供精准分割定位)和低分辨率信息(判断是否为目标)。对于U-net网络在玻璃等平面产品缺陷检测中应用时，缺陷往往以高分辨率和结构复杂存在，一批样本的缺陷特征存在于不同的位置，同时缺陷的形状和大小也有很大差异，很多缺陷之间并没有相关性，需要更多的底层的特征，改善上采样信息的不足。传统U-net网络通过卷积层和池化层实现特征提取，卷积层较少，特征图感受野较低，如果简单增加网络层数会导致梯度消失和爆炸等问题。
技术实现思路
本专利技术要解决的技术问题是：提供一种基于改进的U-net网络的缺陷检测方法，保持产品的原始图像更多的特征信息，提高产品缺陷检测的准确率。本专利技术解决其技术问题所采用的技术方案是：一种基于改进的U-net网络的缺陷检测方法，用于对平坦类型产品进行缺陷检测，所述方法包括：利用U-net网络对一批训练图像进行训练，所述训练图像包括多个正常类样本和多个缺陷样本；使用Resnet网络代替U-net网络的encode部分。更为优选地，所述方法包括如下步骤：(1)、训练图像制作：由输入的平面产品的原始图像裁剪成预设尺寸的训练图像；更为优选地，所述的使用Resnet网络代替U-net网络的encode部分包括如下步骤：(2)、训练图像首先经过第一卷积层提取特征图得到第一层特征图，第一层特征图经过一次最大池化操作使得每个特征图尺寸减小1/2；(3)、步骤(2)得到的特征图经过Resnet网络，Resnet网络包括多个残差模块，经过每一个残差模块对应进行一次最大池化操作，每次最大池化操作使得相应特征图尺寸减小1/2；经过每一个残差模块和一次最大池化操作后得到对应的残差特征图。更为优选地，所述方法包括如下步骤：(4)、U-net网络的decode部分：将经过Resnet网络的所有残差模块及对应的最大池化操作后得到的总残差特征图进行反卷积得到上采样特征图，将上采样特征图和步骤(3)中对应的与其尺寸相同的残差特征图相融合得到融合特征图；(5)、将得到的融合特征图进行反卷积后与步骤(3)中对应的与其尺寸相同的残差特征图相融合得到新的融合特征图；(6)、重复步骤(5)，直至得到与训练图像的初始尺寸相同的融合特征图后最后进行一次反卷积即得到总融合特征图。更为优选地，所述方法包括如下步骤：(7)、将总融合特征图根据训练图像对应的标注图进行交叉熵损失的计算以及通过反向传播训练更新U-net网络及Resnet网络中的参数，使得损失值减小，最终得到预测模型；(8)、将待测试的平面产品的原始图像，裁剪成训练图像的尺寸大小输入预测模型中，得到原始图像的像素点是否为缺陷的概率值。本专利技术的有益效果是：本专利技术利用了Resnet网络提取特征，提高了训练模型预测的准确度。Resnet网络相比于原有的U-net网络中4次下采样的优势在于增大了网络的感受野，保持原始图像更多的特征信息，能够更充分的保持底层的特征，在训练过程中，避免网络退化导致的底层特征丢失，进而在decode部分能融合更多的底层信息。本专利技术比原有的U-net网络具有更高的缺陷检测准确度，本专利技术能够更快的使得缺陷特征凸显，能够更快的收敛和保持原图的特征，尤其对于玻璃等平坦场景中的产品缺陷检测的准确度，原始图像中的弱对比度缺陷有较好的适应性。附图说明下面结合附图对本专利技术进一步说明。图1是现有的U-net网络结构图；图2是本专利技术中采用的resnet网络结构图；图3是本专利技术的实施方式的resnet网络加U-net网络结构图；图4是本专利技术的实施方式中的最终尺寸分割效果图；其中，1、第一残差模块、2、第二残差模块、3、第三残差模块，4、第四残差模块。具体实施方式现在结合附图对本专利技术作进一步的说明。这些附图均为简化的示意图仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。一种基于改进的U-net网络的缺陷检测方法，用于对平面产品进行缺陷检测，所述方法包括：利用U-net网络对一批训练图像进行训练，所述训练图像包括多个正常类样本和多个缺陷样本；使用Resnet网络代替U-net网络的encode部分。本专利技术的方法适用于在玻璃等平坦场景中应用。原有的U-net网络的卷积层为特征提取层，原有的U-net网络如图1所示，左半边为encode(编码)部分，右半边为decode(解码)部分，本专利技术的方法中使用resnet网络代替encode部分。本专利技术中resnet网络可选用如图2所示的resnet-34网络。如图2所示，resnet网络具有4个残差模块：第一残差模块1、第二残差模块2、第三残差模块3、第四残差模块4。每个残差模块分别包含个数不同的特征图的卷积核大小为3*3的卷积操作，每个残差模块最后再进行最大池化操作(maxpooling)，每次最大池化操作都会使得特征图尺寸减小1/2。当应用场景复杂时，resnet网络可选用resnet-50或者resnet-101作为骨干网络，提取更多的底层特征。如图3所示，具体实施例如下：(1)、训练图像制作：由输入的平面产品的原始图像裁剪成预设尺寸的训练图像。平面产品的原始图像尺寸大小不定，通过裁剪的方式裁剪出n张正常类样本和m张包含缺陷样本，训练图像尺寸优选为256*256；n，m为大于零的自然数。(2)、开始训练，训练图像首先经过第一卷积层提取特征图得到第一层特征图，第一层特征图经过一次最大池化操作使得每个特征图尺寸减小1/本文档来自技高网...

【技术保护点】
1.一种基于改进的U-net网络的缺陷检测方法，用于对平面产品进行缺陷检测，其特征在于：所述方法包括：利用U-net网络对一批训练图像进行训练，所述训练图像包括多个正常类样本和多个缺陷样本；使用Resnet网络代替U-net网络的encode部分。/n

【技术特征摘要】
1.一种基于改进的U-net网络的缺陷检测方法，用于对平面产品进行缺陷检测，其特征在于：所述方法包括：利用U-net网络对一批训练图像进行训练，所述训练图像包括多个正常类样本和多个缺陷样本；使用Resnet网络代替U-net网络的encode部分。


2.根据权利要求1所述的缺陷检测方法，其特征在于：所述方法包括如下步骤：
(1)、训练图像制作：由输入的平面产品的原始图像裁剪成预设尺寸的训练图像；
权利要求1所述的使用Resnet网络代替U-net网络的encode部分包括如下步骤：
(2)、训练图像首先经过第一卷积层提取特征图得到第一层特征图，第一层特征图经过一次最大池化操作使得每个特征图尺寸减小1/2；
(3)、步骤(2)得到的特征图经过Resnet网络，Resnet网络包括多个残差模块，经过每一个残差模块对应进行一次最大池化操作，每次最大池化操作使得相应特征图尺寸减小1/2；经过每一个残差模块和一次最大池化操作后得到对应的残差特征图。


3.根...

【专利技术属性】
技术研发人员：都卫东，王岩松，和江镇，龙仕玉，张海宁，
申请(专利权)人：征图新视江苏科技股份有限公司，
类型：发明
国别省市：江苏;32