具有对抗性训练的伪异常样本表面缺陷检测方法及设备技术

本发明专利技术针对工业产品表面缺陷在实际应用中“样本不平衡”问题，以及由于非显著缺陷和不同缺陷之间的相似性，高效定位和分类表面缺陷仍然是一个挑战的问题，提出了一种具有对抗性训练的伪异常样本表面缺陷检测方法及设备，在不需要额外异常样本学习的基础上能够适应检测数据集，从而达到工业产品表面缺陷的有效检测。方法中混合对象检测器，特征编解码器和分类器。对象检测器能够在正式检测之前先筛选一轮异常区域达到整个模型的高效检测能力。特征编解码器具有伪异常样本的对抗性训练，能够使得模型在不需要真实的异常样本的情况下完成数据集正常和异常的学习，减少实际应用中“样本不平衡”对检测结果的影响。对检测结果的影响。对检测结果的影响。

【技术实现步骤摘要】
具有对抗性训练的伪异常样本表面缺陷检测方法及设备


[0001]本专利技术涉及计算机视觉与缺陷检测
，特别涉及一种具有对抗性训练的伪异常样本表面缺陷检测方法及设备。

技术介绍

[0002]物体表面缺陷检测是工业自动化生产不可或缺的一个环节，研究物体表面缺陷检测技术具有很强的现实意义。基于传统机器视觉的物体表面缺陷检测方法一般流程包括：图像处理、特征提取、目标分类。实际工作中，在获取图像数据后，通常采用图像增强和图像分割等处理技术预先分离出缺陷区域，然后再根据缺陷目标人为设计特征规则，手工提取缺陷区域的特征，最后应用一些分类算法对缺陷特征进行分类。
[0003]但传统的机器视觉缺陷检测技术在实际应用中遇到了许多问题和挑战，特别是在那些用于区分缺陷和非缺陷的传统图像特征是基于经验手动设计的年代。传统图像特征提取算子的特征通常处于低水平。在诸如照明变化、透视失真、遮挡、对象变形等复杂场景变化的情况下，提取的特征通常不够鲁棒，无法处理它们，因此许多算法在实际环境中不适用。而深度学习的快速发展使其在缺陷检测领域得到了越来越广泛的应用。
[0004]基于深度学习的物体表面缺陷检测方法是一种端对端的检测方案，由卷积神经网络自主学习提取缺陷特征，其较人为设计规则提取特征更能准确地表述和理解缺陷信息，检测更为精准。近年来，深度学习已被证明在物体检测和分类、面部检测、模式识别、故障诊断、目标跟踪以及其他各种基于图像的应用中非常成功。事实证明，在检测图像中的图案时，它对背景、照明、颜色、形状、大小和强度都具有鲁棒性。当在工业环境中检测复杂的表面缺陷时，使用基于深度学习的方法效果特别理想。常见的深度学习方法可分为有监督学习，无监督学习。
[0005]但当用于工业产品的表面缺陷检测时，基于深度学习方法，不平衡样本的识别是一个难点。在深度学习中，当模型被训练时，通常需要平衡样本集中各种类别的样本数量。然而，这种理想情况在现实中很少出现。在更多情况下，数据集中正常样本的数据通常占大多数，而缺陷样本的数量仅占总样本的一小部分。这种现象被称为“不平衡样本”现象。不平衡样本识别问题主要存在于监督学习任务中。该问题的出现将导致算法更加关注数据量较大的类别，而低估数据量较小的类别，从而影响模型在测试数据中的泛化和预测能力，无监督学习可以很大程度上解决这一问题。
[0006]然而，由于非显著缺陷和不同缺陷之间的相似性，高效定位和分类表面缺陷仍然是一个挑战。此外，不同工业产品的缺陷形状、特征复杂多变，对产品进行拍照时的成像角度和光照条件也不尽相同，导致缺陷检测模型很难适应不同类型产品的缺陷检测需求，性能下降明显。因此，设计具有领域自适应能力的缺陷检测模型是未来一大研究方向。

技术实现思路

[0007]针对上述现有技术存在的不足，本专利技术提出了一种具有对抗性训练的伪异常样本
表面缺陷检测方法及设备。其目的在于解决表面缺陷检测中异常样本稀少的问题以及完成更高效的异常位置定位，并且由于训练中未使用特定异常样本，此模型具有一定的领域自适应能力。
[0008]根据本专利技术的第一方面，一种具有对抗性训练的伪异常样本表面缺陷检测方法，包括以下步骤：
[0009]S1：构建一个对象检测器，所述对象检测器包括：特征提取网络和RPN；
[0010]S2：将正常对象送入对象检测器，得到n个目标子样本；
[0011]S3：构建特征编解码器，所述特征编解码器由CAE组成，CAE包括：编码器、第一解码器和第二解码器；
[0012]S4：将对象检测器得到的n个目标子样本中的任一目标子样本送入编码器，将与表面缺陷检测数据集无关的数据作为伪异常样本送入编码器，经过第一解码器进行正常样本的训练，重构正常对象，经过第二解码器进行伪异常样本对抗训练，解码伪异常对象；
[0013]S5：继续将剩余的n
‑
1个目标子样本重复S4，直至一个对象结束；同时根据各损失更新网络参数，完成编码器的训练；
[0014]S6：计算各目标子样本和其重构之后的绝对差，计算伪异常样本与其解码结果的绝对差；
[0015]S7：构建分类器并训练分类器；
[0016]S8：测试阶段，去掉第二解码器，将测试样本送入已经训练完成的对象检测器、CAE和分类器，得出表面缺陷检测结果。
[0017]进一步地，步骤S1中，所述特征提取网络采用Resnet
‑
50，在ImageNet上预训练后再用能收集到的工业产品表面缺陷再一次训练来提高精度；RPN用于得到建议框，将每个建议框裁取得到疑似目标区域每一个区域作为一个目标子样本，在训练阶段，采用随机获取建议框的形式。
[0018]进一步地，步骤S3中，每个编码器由三个卷积层组成，每个卷积层之后是最大池化层，滤波器大小为2
×
2，步长为2；卷积层由3
×
3的滤波器组成；每个卷积层之后都有ReLU作为激活函数；前两个卷积层由32个过滤器组成，而第三个卷积层由16个过滤器组成，潜在表示由16个大小为8
×
8的激活图组成；
[0019]每个解码器从上采样层开始，将激活图的空间支持增加2倍；上采样操作基于最近邻插值；上采样后，应用了一个带有16个3
×
3滤波器的卷积层；第一个上采样层和卷积层之后是另两个上采样层与卷积层，最后一个卷积层由单个卷积滤波器构成。
[0020]进一步地，步骤S4中，对于重构正常对象的第一解码器d，采用MSE损失函数作为损失函数L
d
：
[0021][0022]其中，h、w分别为输入正常样本的高和宽并且h＝w＝64，x
ij
为以h为行w为列的第i行第j列的正常样本的灰度图数值，为x
ij
通过解码器之后得到的数值，θ
e
为编码器的参数，θ
d
为第一解码器的参数；
[0023]对于解码伪异常对象的第二解码器分支d'，采用MSE损失函数作为损失函数L
d
′
：
[0024][0025]其中，h、w分别为输入伪异常样本的高和宽并且h＝w＝64，x
ij
为以h为行w为列的第i行第j列的伪异常样本的灰度图数值，为x
ij
通过解码
[0026]器之后得到的数值，θ
e
为编码器的参数，θ
d
′
为第二解码器的参数。
[0027]进一步地，将一个正常对象由对象检测器得出的所有目标子样本完成S3
‑
S4步骤，同时实时更新网络参数；
[0028]网络参数的更新规则如下：
[0029][0030][0031][0032]其中，η是学习率，λ是反向梯厦的权重，在训练过程中，第一解码器采用梯厦下降的方式，第二解码器采用梯度上升的方式。
[0033]进一步地，步骤S6具体包括：
[0034]在训练编码器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有对抗性训练的伪异常样本表面缺陷检测方法，其特征在于，包括以下步骤：S1：构建一个对象检测器，所述对象检测器包括：特征提取网络和RPN；S2：将正常对象送入对象检测器，得到n个目标子样本；S3：构建特征编解码器，所述特征编解码器由CAE组成，CAE包括：编码器、第一解码器和第二解码器；S4：将对象检测器得到的n个目标子样本中的任一目标子样本送入编码器，将与表面缺陷检测数据集无关的数据作为伪异常样本送入编码器，经过第一解码器进行正常样本的训练，重构正常对象，经过第二解码器进行伪异常样本的对抗性训练，解码伪异常对象；S5：继续将剩余的n
‑
1个目标子样本重复S4，直至一个对象结束；同时根据各损失更新网络参数，完成编码器的训练；S6：计算各目标子样本和其重构之后的绝对差，计算伪异常样本与其解码结果的绝对差；S7：构建分类器并训练分类器；S8：测试阶段，去掉第二解码器，将测试样本送入已经训练完成的对象检测器、CAE和分类器，得出表面缺陷检测结果。2.根据权利要求1所述的伪异常样本表面缺陷检测方法，其特征在于，步骤S1中，所述特征提取网络采用Resnet
‑
50，在ImageNet上预训练后再用能收集到的工业产品表面缺陷再一次训练来提高精度；RPN用于得到建议框，将每个建议框裁取得到疑似目标区域每一个区域作为一个目标子样本，在训练阶段，采用随机获取建议框的形式。3.根据权利要求1所述的伪异常样本表面缺陷检测方法，其特征在于，步骤S3中，每个编码器由三个卷积层组成，每个卷积层之后是最大池化层，滤波器大小为2
×
2，步长为2；卷积层由3
×
3的滤波器组成；每个卷积层之后都有ReLU作为激活函数；前两个卷积层由32个过滤器组成，而第三个卷积层由16个过滤器组成，潜在表示由16个大小为8
×
8的激活图组成；每个解码器从上采样层开始，将激活图的空间支持增加2倍；上采样操作基于最近邻插值；上采样后，应用了一个带有16个3
×
3滤波器的卷积层；第一个上采样层和卷积层之后是另两个上采样层与卷积层，最后一个卷积层由单个卷积滤波器构成。4.根据权利要求1所述的伪异常样本表面缺陷检测方法，其特征在于，步骤S4中，对于重构正常对象的第一解码器d，采用MSE损失函数作为损失函数L
d
：其中，h、w分别为输入正常样本的高和宽并且h＝w＝64，x
ij
为以h为行w为列的第i行第j列的正常样本的灰度图数值，为x
ij
通过解码器之后得到的数值，θ
e
...

【专利技术属性】
技术研发人员：罗大鹏，黄罗琪，罗人立，洪世杰，李金生，王菲，蹇安安，杜浩文，
申请(专利权)人：中建三局智能技术有限公司罗人立，
类型：发明
国别省市：