基于重构网络的缺陷检测方法技术

本发明专利技术提供了一种基于重构网络的缺陷检测方法，通过采集无缺陷图片，经数据增强处理，得到增强的样本；再构建重构网络，将其训练后作为特征提取器，对增强的样本进行特征提取，得到特征向量；然后构建基于跨尺度流的检测网络，将特征向量变换成不同的比例，并对不同比例对应的多尺度特征图并行地进行密度估计，输出异常密度图，得到缺陷检测结果。通过上述方式，本发明专利技术能够将重构网络作为特征提取器，对样本特征进行精确提取；并引入跨尺度流联合处理不同尺度的图像特征，再使用完全卷积的归一化流在各尺度之间进行交叉连接，对特征进行密度估计，使图像上的缺陷区域能够被可视化，且能够在训练样本数量较少的情况下取得较好的检测效果。检测效果。检测效果。

Defect detection method based on reconstructed network

【技术实现步骤摘要】
基于重构网络的缺陷检测方法


[0001]本专利技术涉及缺陷检测
，尤其涉及一种基于重构网络的缺陷检测方法。

技术介绍

[0002]近年来，越来越多的工业技术关注于表面缺陷检测，并改善了工业领域的质量控制。由于表面缺陷对工业产品的质量结果有很大影响，确保有缺陷的产品在早期阶段被注意到是至关重要的。在缺陷检测过程中，需要仔细和可靠地检测小缺陷，传统的人工检测已经难以满足需求，基于深度学习的检测方式逐渐成为缺陷检测的发展方向。
[0003]现有的缺陷检测技术大多分为有监督和无监督两种方法，有监督的方式需要对缺陷进行大量的手动标记后进行分割训练，但是因为缺陷的样式与大小各不相同，手动标记是一个又耗时又浪费人力的事情；相比之下，无监督的方式会显得较为轻松，全程需要大量的正常样本进行训练，不需要手动标记，但是这种方式的检测效果相对会没有那么理想，不同的数据增强方式会导致训练效果不同，缺陷的特征也很难定义，新类型的缺陷可能一直在发生，同时检测结果也会出现偏差，如无法检测小缺陷等，并且对正常样本的数据量需求也较大。此外，现实世界的产品图像实际上包含大量的背景噪声，常导致缺陷检测的结果变得不太可靠。
[0004]公开号为CN114235847A的专利提供了一种液晶面板玻璃基板表面缺陷检测装置及检测方法。该专利在采用深度学习算法对玻璃基板缺陷进行判断时，通过对图像进行区域分割，并对干扰项进行特征提取，再建立图像重构网络对缺陷进行判定，完成了对玻璃基板缺陷的判定。然而，该专利中采用常规方式进行特征提取，并将重构网络用于缺陷判定的方式不仅难以精确提取缺陷特征，对缺陷的判定结果不够准确，需要较大的训练样本数量，不适用于工业中缺少样本的缺陷检测场景，具有一定的局限性。
[0005]有鉴于此，有必要设计一种改进的基于重构网络的缺陷检测方法，以解决上述问题。

技术实现思路

[0006]针对上述现有技术的缺陷，本专利技术的目的在于提供一种基于重构网络的缺陷检测方法。通过采用重构的方式，将重构网络作为特征提取器，对样本特征进行精确提取；并引入跨尺度流联合处理不同尺度的图像特征，再使用完全卷积的归一化流在各尺度之间进行交叉连接，对特征进行密度估计，使图像上的缺陷区域能够被可视化，且能够在训练样本数量较少的情况下取得较好的检测效果。
[0007]为实现上述目的，本专利技术提供了一种基于重构网络的缺陷检测方法，包括如下步骤：
[0008]S1、采集无缺陷图片，经数据增强处理，得到增强的样本；
[0009]S2、构建重构网络，将所述重构网络训练后作为特征提取器，对步骤S1得到的所述增强的样本进行特征提取，得到特征向量；
[0010]S3、构建基于跨尺度流的检测网络，将步骤S2得到的所述特征向量变换成不同的比例，并对不同比例对应的多尺度特征图并行地进行密度估计，输出异常密度图，得到缺陷检测结果。
[0011]作为本专利技术的进一步改进，在步骤S3中，所述基于跨尺度流的检测网络的缺陷检测过程包括如下步骤：
[0012]获得不同尺度的多个特征图；
[0013]对不同尺度的多个特征图进行联合处理；
[0014]使用一个完全卷积的归一化流，在各尺度之间进行交叉连接，对不同尺度的特征图进行密度估计，并根据所述密度估计为输入的样本分配可能性，以所述可能性作为缺陷的指标进行缺陷定位与标记。
[0015]作为本专利技术的进一步改进，在步骤S1中，所述数据增强处理包括对无缺陷的正常样本进行增强以及生成有缺陷的图片，所述有缺陷的图片基于GAN和直方图匹配的缺陷生成网络生成；对所述正常样本进行增强的方式包括旋转、翻转、随机剪裁、粘贴、擦除中的一种或多种。
[0016]作为本专利技术的进一步改进，在步骤S1中，所述基于GAN和直方图匹配的缺陷生成网络包括生成器和判别器；所述生成器通过采用局部高斯模糊将生成的区域随机混合到无缺陷样本中，模拟真实缺陷样本；所述判别器中加入了由直方图匹配生成的参考缺陷样本，并增加了对局部直方图损失的计算。
[0017]作为本专利技术的进一步改进，在步骤S2中，所述重构网络包括编码器和解码器，用于将步骤S1中生成的所述有缺陷的图片重构成模拟的无缺陷样本；所述重构网络的损失包括SSIM损失函数和L2损失函数。
[0018]作为本专利技术的进一步改进，在步骤S2中，所述编码器和所述解码器之间还包括可训练的瓶颈模块；所述瓶颈模块包括可训练的MFF模块和OCE模块，所述MFF模块用于处理来自所述编码器的多尺度特征，所述OCE模块用于将获得的特征浓缩为一个瓶颈代码。
[0019]作为本专利技术的进一步改进，在步骤S2中，所述编码器包括五个卷积块，每个所述卷积块内含有两个卷积层、两个BN层和两个ReLU层；所述解码器包括四个特征提取块，每个所述特征提取块包括一个上采样块、一个contact块和一个反卷积块；所述上采样块采用双线性上采样方式，所述反卷积块中包括两个卷积层、两个BN层和两个ReLU层。
[0020]作为本专利技术的进一步改进，在步骤S2中，采用训练后的所述重构网络进行特征提取时，包括以下两种方式：
[0021]第一种特征提取方式为仅提取正常样本输入进所述编码器的最后一个卷积块的最后一层提取到的特征；
[0022]第二种特征提取方式为同时提取所述编码器和所述解码器的最后一层提取到的特征，并通过所述contact块建立连接。
[0023]作为本专利技术的进一步改进，在步骤S3中，对所述特征向量进行双射和平行变换，并保留所述特征向量的维度；采用NF框架对不同比例对应的多尺度特征图并行地进行密度估计，使细粒度的位置和上下文信息得以保持；所述密度估计是通过特征空间的未知分布到具有高斯分布的潜在空间的双向映射学习得到。
[0024]作为本专利技术的进一步改进，在步骤S3中，采用双线性上采样或分层卷积来调整不
同尺度的单个特征图的大小，然后再通过求和进行聚合。
[0025]本专利技术的有益效果是：
[0026](1)本专利技术提供的基于重构网络的缺陷检测方法，采用重构的方式，将重构网络作为特征提取器，对样本特征进行精确提取；并引入跨尺度流联合处理不同尺度的图像特征，再使用完全卷积的归一化流在各尺度之间进行交叉连接，对特征进行密度估计，使图像上的缺陷区域能够被可视化，且能够在训练样本数量较少的情况下取得较好的检测效果。基于此，本专利技术提供的基于重构网络的缺陷检测方法作为一种半监督的学习方式，不仅有效解决了现有的有监督和无监督方法存在的一些不足，还非常适用于工业中样本较少的缺陷检测场景，应用范围较广。
[0027](2)本专利技术提供的基于重构网络的缺陷检测方法，在归一化流的基础上创新性地引入了跨尺度流，形成了一种新型的全卷积跨尺度归一化流，能够同时处理不同尺度的图像特征，并通过归一化流平行传播，同时相互影响，对特征进行密度估计，从而通过联合估计多尺度特征图上的似然来检测缺陷。考虑到在训练期间关于缺陷的可辨别性是未知的，本专利技术提供的方法利用了局部和全局本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于重构网络的缺陷检测方法，其特征在于，包括如下步骤：S1、采集无缺陷图片，经数据增强处理，得到增强的样本；S2、构建重构网络，将所述重构网络训练后作为特征提取器，对步骤S1得到的所述增强的样本进行特征提取，得到特征向量；S3、构建基于跨尺度流的检测网络，将步骤S2得到的所述特征向量变换成不同的比例，并对不同比例对应的多尺度特征图并行地进行密度估计，输出异常密度图，得到缺陷检测结果。2.根据权利要求1所述的基于重构网络的缺陷检测方法，其特征在于：在步骤S3中，所述基于跨尺度流的检测网络的缺陷检测过程包括如下步骤：获得不同尺度的多个特征图；对不同尺度的多个特征图进行联合处理；使用一个完全卷积的归一化流，在各尺度之间进行交叉连接，对不同尺度的特征图进行密度估计，并根据所述密度估计为输入的样本分配可能性，以所述可能性作为缺陷的指标进行缺陷定位与标记。3.根据权利要求1所述的基于重构网络的缺陷检测方法，其特征在于：在步骤S1中，所述数据增强处理包括对无缺陷的正常样本进行增强以及生成有缺陷的图片，所述有缺陷的图片基于GAN和直方图匹配的缺陷生成网络生成；对所述正常样本进行增强的方式包括旋转、翻转、随机剪裁、粘贴、擦除中的一种或多种。4.根据权利要求3所述的基于重构网络的缺陷检测方法，其特征在于：在步骤S1中，所述基于GAN和直方图匹配的缺陷生成网络包括生成器和判别器；所述生成器通过采用局部高斯模糊将生成的区域随机混合到无缺陷样本中，模拟真实缺陷样本；所述判别器中加入了由直方图匹配生成的参考缺陷样本，并增加了对局部直方图损失的计算。5.根据权利要求1所述的基于重构网络的缺陷检测方法，其特征在于：在步骤S2中，所述重构网络包括编码器和解码器，用于将步骤S1中生成的所述有缺陷的图片重构成模拟的无缺陷样本；所述...

【专利技术属性】
技术研发人员：简伟明，刘亦铭，马远辰，赵成，孙科，朱祥将，
申请(专利权)人：武汉象点科技有限公司，
类型：发明
国别省市：