一种产品表面缺陷检测方法及系统及装置及介质制造方法及图纸

本发明专利技术公开了一种产品表面缺陷检测方法及系统及装置及介质，包括：构建图片重构网络；采集无缺陷图片方法训练图片；利用训练图片训练图片重构网络，得到训练后的图片重构网络；采集待处理产品表面缺陷图片，将待处理产品表面缺陷图片输入训练后的图片重构网络，计算待处理产品表面缺陷图片与重构后的图片的特征值，并计算待处理产品表面缺陷图片与重构后的图片的特征值差值，基于特征值差值得到产品表面缺陷检测结果；本发明专利技术仅使用良品图片进行表面缺陷检测，本发明专利技术基于全卷积神经网络，通过重构良品图片学习到对表面缺陷的修复能力，从而实现对于各种表面缺陷的像素级识别能力。

【技术实现步骤摘要】
一种产品表面缺陷检测方法及系统及装置及介质
本专利技术涉及智能制造与人工智能
，具体地，涉及一种产品表面缺陷检测方法及系统及装置及介质。
技术介绍
基于机器视觉的表面缺陷检测算法主要包括传统视觉方法与深度学习方法。传统视觉方法主要是基于人工设计的视觉特征进行的，如分水岭算法，LBP特征法等，深度学习方法主要是基于卷积神经网络进行的，如FasterRCNN算法、MASKRCNN算法等。目前在表面缺陷自动检测算法中深度学习方法的使用日趋流行。目前使用深度学习的表面缺陷检测方法中，主要使用的是目标检测算法或语义分割算法等有监督学习方法。该类方法在实际应用中主要面临四个问题，其一，需要采集大量缺陷图片作为训练数据，实际生产中低概率缺陷图片的采集需要较高的时间成本和人力成本；其二，基于已有训练图片进行的表面缺陷自动检测算法无法应对生产中可能发生的未知的缺陷表现形态，基于有监督学习的方法可以实现对训练数据集内包含的缺陷形态的较好的泛化效果，而实际生产过程中突发的未知的新缺陷不存在于已有训练图片中，算法可能发生缺陷的漏检，造成生产损失；其三，需要大量人工标注的缺陷图片，目标检测与语义分割等人工标注的成本较高，所需时间较长，导致算法对生产情况变化的响应较慢，及时性较差；其四，较难适应新产品图片，在有监督学习中，没有缺陷的良品图片是作为负图片进行学习的，对于不存在于训练数据中的新产品图片，其背景可能发生较大变化，因此可能导致算法对于缺陷的过检，为解决该问题，需要及时投入人力采集与标注新产品图片，进而优化模型，导致算法更新较慢。
技术实现思路
本专利技术提供了一种产品表面缺陷检测方法及系统及装置及介质，本专利技术仅使用良品图片进行表面缺陷检测，本专利技术基于全卷积神经网络，通过重构良品图片学习到对表面缺陷的修复能力，从而实现对于各种表面缺陷的像素级识别能力。本专利技术更符合人类视觉进行缺陷检测的原理，可以在缺陷发生前仅使用良品采集的图片进行算法开发，不需要积累和标注大量的缺陷图片，节省了缺陷检测算法开发前期所需的人力投入。本专利技术提供了一种产品表面缺陷检测方法，所述方法包括：构建图片重构网络，图片重构网络对图片的处理过程包括：下采样过程、上采样过程和跨层链接过程；下采样过程包括：图片经过卷积层处理，然后进行批归一化处理，然后利用激活函数进行激活；上采样过程包括：图片经过卷积层处理，然后进行批归一化处理，然后利用激活函数进行激活；跨层链接过程包括：将下采样过程中的若干特征图添加到上采样过程中对应尺度的特征图上；采集无缺陷图片得到训练图片；由于实际生产中良品的占比通常较高，收集其图片所需的人力成本较低，可以在短期内采集较大量的无缺陷图片，即前文所述良品图片；利用训练图片训练图片重构网络，得到训练后的图片重构网络；采集待处理产品表面缺陷图片，将待处理产品表面缺陷图片输入训练后的图片重构网络，计算待处理产品表面缺陷图片与重构后的图片的特征值，并计算待处理产品表面缺陷图片与重构后的图片的特征值差值，基于特征值差值得到产品表面缺陷检测结果。其中，本专利技术的原理为：本专利技术提出的技术方案使用生产中易于采集的良品图片，即没有缺陷发生的图片，训练基于全卷积网络设计的图片重构网络，使图片重构网络学习到良品图片主要特征并能够对其进行重构。在测试阶段，将包含缺陷的产品图片使用训练好的深度学习模型进行重构，重构后的图片可以较好的修复缺陷区域，即将缺陷区域抹除，通过对原图与重构后的图片使用LBP等传统计算机视觉方法进行特征提取，然后在特征层面对两图取差值，二值化处理差值图片，即可得到像素级的缺陷区域分割结果。优选的，图片重构网络接受输入为1通道的灰图或者3通道的彩图，并通过卷积神经网络输出与输入图片通道数相同的重构图片，并利用激活函数将图片重构网络输出限制在-1到1范围内，然后通过线性变换将输出转换为0到255范围内的无符号8位整型数，即可得到重构图片。优选的，利用训练图片训练图片重构网络，得到训练后的图片重构网络，具体包括：从训练图片集中提取若干原始图片，在提取的原始图片中添加随机缺陷或噪声，得到不良图片；将不良图片输入图片重构网络进行计算，输出重构后的图片；计算重构后的图片与对应原始图片之间的L1loss与多尺度SSIMloss，并使用随机梯度下降法更新图片重构网络参数，训练至loss收敛时停止训练，得到训练后的图片重构网络。优选的，在提取的原始图片中添加随机缺陷的方式包括：在提取的原始图片中随机生成的几何图形，或从已采集的缺陷库中随机选取缺陷图块添加至提取的原始图片中，在提取的原始图片中添加噪声的方式包括：在提取的原始图片中随机产生噪声。优选的，本专利技术使用SSIM特征算法计算出待处理产品表面缺陷图片与重构后的图片的SSIM特征值，并计算待处理产品表面缺陷图片与重构后的图片的SSIM特征值差值，得到特征值差值图，二值化处理特征值差值图，得到产品表面缺陷检测结果。SSIM特征即结构相似性特征，是一种衡量两幅图片相似性的度量指标，可以同时考虑重构前后图片之间的亮度、对比度和结构的差异，相比hog特征、LBP特征等更适合度量重构前后图片的差异。优选的，所述方法在获得训练图片后以及训练图片重构网络之前，还包括预处理训练图片，包括：若训练图片的数量大于第一阈值，则筛选训练图片；筛选后作为训练图片的良品图片应能够覆盖实际生产场景中全部良品形貌，如包括多种产品，多种拍照设备，多种光照条件下的图片；若训练图片的数量小于第二阈值，则对训练图片进行数据增强；例如生产良率较低，生产周期较长的情况导致无法短时间内采集大量良品图片数据，则在本步骤中对已采集到的良品数据进行数据增强处理，人为制造一些训练图片；若训练图片的尺寸大于预设尺寸，则在训练图片上按固定步长滑动窗口裁剪出固定尺寸的图片块，作为后续训练图片使用。由于使用大尺寸图片输入模型进行训练时，占用显存较多，训练时间较长，难度偏大，因此可在本步骤中在原良品图片上按固定步长滑动窗口裁剪出固定尺寸的图片块，作为后续训练图片使用。优选的，数据增强方法包括但不限于以下处理方式中的一种或几种，包括：随机裁剪训练图片、缩放训练图、旋转训练图、翻转训练图、随机调整训练图的亮度和随机调整训练图的对比度。其中，本方法与现有技术中的产品表面缺陷检测方法的区别在于：1.现有方法是基于DCGAN网络进行图片重构，而本方法是使用基于REDNET的跨层连接网络实现图片重构，不包含GAN网络中的分辨器和生成器网络。本方法使用的重构网络能够在保证重构质量与鲁棒性的前提下，获得比基于DCGAN网络更快的收敛速度，并且对于超参数的设置更鲁棒。2.现有方法是使用生成器loss，分辨器loss与MSEloss，本方法是用L1loss与多尺度SSIMloss等进行模型训练。而基于L1loss与多尺度SSIMloss能够更好的综合局部与全局特征，防止模型出现过拟合，提高重构质量。3.现有方法使用LBP特征进行缺陷区域本文档来自技高网...

【技术保护点】
1.一种产品表面缺陷检测方法，其特征在于，所述方法包括：/n构建图片重构网络，图片重构网络对图片的处理过程包括：下采样过程、上采样过程和跨层链接过程；下采样过程包括：图片经过卷积层处理，然后进行批归一化处理，然后利用激活函数进行激活；上采样过程包括：图片经过卷积层处理，然后进行批归一化处理，然后利用激活函数进行激活；跨层链接过程包括：将下采样过程中的若干特征图添加到上采样过程中对应尺度的特征图上；/n采集无缺陷图片得到训练图片；/n利用训练图片训练图片重构网络，得到训练后的图片重构网络；/n采集待处理产品表面缺陷图片，将待处理产品表面缺陷图片输入训练后的图片重构网络，计算待处理产品表面缺陷图片与重构后的图片的特征值，并计算待处理产品表面缺陷图片与重构后的图片的特征值差值，基于特征值差值得到产品表面缺陷检测结果。/n

【技术特征摘要】
1.一种产品表面缺陷检测方法，其特征在于，所述方法包括：
构建图片重构网络，图片重构网络对图片的处理过程包括：下采样过程、上采样过程和跨层链接过程；下采样过程包括：图片经过卷积层处理，然后进行批归一化处理，然后利用激活函数进行激活；上采样过程包括：图片经过卷积层处理，然后进行批归一化处理，然后利用激活函数进行激活；跨层链接过程包括：将下采样过程中的若干特征图添加到上采样过程中对应尺度的特征图上；
采集无缺陷图片得到训练图片；
利用训练图片训练图片重构网络，得到训练后的图片重构网络；
采集待处理产品表面缺陷图片，将待处理产品表面缺陷图片输入训练后的图片重构网络，计算待处理产品表面缺陷图片与重构后的图片的特征值，并计算待处理产品表面缺陷图片与重构后的图片的特征值差值，基于特征值差值得到产品表面缺陷检测结果。


2.根据权利要求1所述的产品表面缺陷检测方法，其特征在于，图片重构网络使用3*3的卷积层输出与输入图片通道数相同的重构图片，并使用激活函数将图片重构网络输出限制在-1到1范围内。


3.根据权利要求1所述的产品表面缺陷检测方法，其特征在于，利用训练图片训练图片重构网络，得到训练后的图片重构网络，具体包括：
从训练图片集中提取若干原始图片，在提取的原始图片中添加随机缺陷或噪声，得到不良图片；
将不良图片输入图片重构网络进行计算，输出重构后的图片；
计算重构后的图片与对应原始图片之间的L1loss与多尺度SSIMloss，并使用随机梯度下降法更新图片重构网络参数，训练至loss收敛时停止训练，得到训练后的图片重构网络。


4.根据权利要求3所述的产品表面缺陷检测方法，其特征在于，在提取的原始图片中添加随机缺陷的方式包括：在提取的原始图片中随机生成的几何图形，或从已采集的缺陷库中随机选取缺陷图块添加至提取的原始图片中，在提取的原始图片中添加噪声的方式包括：在提取的原始图片中随机产生噪声。


5.根据权利要求1所述的产品表面缺陷检测方法，其特征在于，使用SSIM特征算法计算出待处理产品表面缺陷图片与重构后的图片的SSIM特征值，并计算待处理产品表面缺陷图片与重构后的图片的SSIM特征值差值，得到特征值差值图，二值化处...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：成都数之联科技有限公司，
类型：发明
国别省市：四川;51