基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法技术

本发明专利技术涉及基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，与现有技术相比解决了钢材图片缺陷检测需依赖大量标记数据的缺陷。本发明专利技术包括以下步骤：工业生产钢材图片的获取和预处理；上游钢材表面缺陷表征学习模型的构建；上游钢材表面缺陷表征学习模型的训练；下游钢材表面缺陷检测器的构建；下游钢材表面缺陷检测器的训练；待检测工业生产钢材图片的获取；工业生产钢材图片缺陷检测结果的获得。本发明专利技术无需大量标记数据，通过在大量的无标记数据集上进行自监督表征学习，获得缺陷数据的良好表征，从而利用少量带标记的钢材缺陷图片实现工业生产中的钢材图片缺陷检测。检测。检测。

【技术实现步骤摘要】
基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法


[0001]本专利技术涉及工业图像检测
，具体来说是基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法。

技术介绍

[0002]缺陷检测是工业生产中重要的环节，钢材表面缺陷检测是指检测钢材表面的划痕、开裂、异物、腐蚀、孔洞等问题。传统的依赖人力的检测方法存在效率低下，检测结果易受人为主观因素影响等弊端。随着科学技术的进步，一些无损检测方法被提出并应用到各种缺陷检测领域。在钢材缺陷检测领域，主要是利用磁粉探伤、渗透探伤、涡流检测、超声波检测、X射线等技术。伴随着人工智能技术的大力发展，许多新型的缺陷检测方法被提出，并应用到工业环境中。
[0003]一些基于传统视觉技术的钢材缺陷检测方法在很长一段时间内发挥了巨大作用，这些方法主要分为三类：基于纹理特征的方法、基于颜色特征的方法、基于形状特征的方法。深度学习技术的快速发展使得其在钢材缺陷检测领域也取得了广泛的应用，许多的钢材缺陷样本分类和检测技术被提出，其中包括有监督方法、无监督方法、弱监督方法。该类基于深度学习的方法通过在大量钢材表面缺陷样本上进行训练，自主学习各类钢材缺陷特征，在各种工业环境下，都取得了不错的效果，具有较强的鲁棒性，同时能保证检测的速度，满足工业生产的需求。
[0004]基于深度学习的方法虽然有准确度高，鲁棒性强等特点，但其模型的训练需要大量的数据，尤其是标记数据。钢材表面缺陷存在颜色单一，缺陷目标小及各类缺陷多并行出现等特点，非专业人员很难分辨及归纳各类缺陷样本，导致在该领域内获取标记数据的代价极大。
[0005]由于基于深度学习的缺陷检测模型包含几千万的参数量，在模型的训练中需要超大体量的标记数据去拟合参数，标记数据的不足会极大的影响基于深度学习方法的钢材缺陷检测效果。这也使得传统的深度学习缺陷检测技术无法应用到工业生产的钢材图片检测中，因为在实际工业生产中，无法获取到大量的钢材缺陷图片(有标签样本)，只存在极少量的钢材缺陷图片，无标签样本在传统的深度学习检测技术中，又难以达到实际使用效果。
[0006]因此，如何提出一种不依赖大量标记数据就能实现检测钢材图片缺陷的方法已经成为急需解决的技术问题。

技术实现思路

[0007]本专利技术的目的是为了解决现有技术中钢材图片缺陷检测需依赖大量标签数据的缺陷，提供一种基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法来解决上述问题。
[0008]为了实现上述目的，本专利技术的技术方案如下：
[0009]一种基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，包括以下步骤：
[0010]工业生产钢材图片的获取和预处理：获取有标签、无标签的工业生产钢材图片并进行预处理；
[0011]上游钢材表面缺陷表征学习模型的构建：构建上游钢材表面缺陷表征学习模型；
[0012]上游钢材表面缺陷表征学习模型的训练：利用预处理后的无标签工业生产钢材图片对上游钢材表面缺陷表征学习模型进行训练；
[0013]下游钢材表面缺陷检测器的构建：基于利用大量无标签图片进行表征训练得到的骨干征提取网络，进行下游钢材表面缺陷检测器的构建；
[0014]下游钢材表面缺陷检测器的训练：利用预处理后的有标签工业生产钢材图片对下游钢材表面缺陷检测器进行训练；
[0015]待检测工业生产钢材图片的获取：获取待检测工业生产钢材图片，并进行预处理；
[0016]工业生产钢材图片缺陷检测结果的获得：将预处理后的待检测工业生产钢材图片输入训练后的下游钢材表面缺陷检测器，获得工业生产钢材图片的缺陷检测结果。
[0017]所述工业生产钢材图片的获取和预处理包括以下步骤：
[0018]获取工业生产钢材图片；
[0019]对工业生产钢材图片进行数据增强处理：
[0020]首先将工业生产钢材图片全部调整为224x224的大小，然后应用随机裁剪和随机水平翻转；再采用强度为0.4的亮度色彩增强、0.4的对比度增强、0.1的色调增强、应用概率为0.8，以及应用概率为0.2的随机灰度变换；
[0021]对数据增强后的工业生产钢材图片进行高斯模糊处理。
[0022]所述上游钢材表面缺陷表征学习模型的构建包括以下步骤：
[0023]设定SimSiam中骨干特征提取网络ResNet
‑
50：
[0024]去掉原SimSiam中骨干特征提取网络ResNet
‑
50中的全局池化层，将得到的特征图保留，继续传入对比学习框架中后续的非线性映射模块；利用去掉池化层的编码器f对原始不带标记的钢材表面缺陷数据进行特征提取，输出为特征图，表示为Y；
[0025]使用1x1卷积结构代替原有的MLP，利用卷积结构对特征图进行映射，采用具有匹配机制的EMD距离对各类钢材缺陷进行相似性的度量。
[0026]所述上游钢材表面缺陷表征学习模型的训练包括以下步骤：
[0027]将预处理后的无标签工业生产钢材图片x做两个随机的增广，得到两张增广视图x1和x2：
[0028]x1＝Augmentation
random
(x),x2＝Augmentation
random
(x)；
[0029]将得到的两张增广视图x1和x2分别输入到编码器f中进行特征提取，得到两组特征图Y1和Y2；编码器f为舍弃掉全连接层和全局池化层的ResNet
‑
50网络，编码器f在两个增广视图之间共享权重；
[0030]利用滑动步长为1的1x1卷积对得到的两组特征图Y1和Y2进行进一步的特征映射，并保持特征图大小不变；
[0031]在单边多加一级MLP映射h；
[0032]考虑到计算复杂度，在此之前加上池化层，将特征图再池化为一维向量来进行最
后的相似度计算，两个向量分别表示为：
[0033]和
[0034]其中，f为主干特征提取网络，g为第一级映射模块，由1x1卷积构成，h为第二级映射模块，由MLP组成；P1为x1经过特征提取网络f以及后续两个映射模块g和h后得到的特征向量，Z2为x2经过特征提取网络f以及后续的一个映射模块g后得到的特征向量；
[0035]利用EMD距离计算两个向量的相似度：
[0036]采用对称化的损失，即交换x1和x2经过网络得到的结果表示为Z1和P2；
[0037]EMD距离公式和损失函数L的定义如下：
[0038]D
EMD
(P,Z2)＝||P
‑
Z2||
EMD
，
[0039][0040]其中，Stopgrad()为停止梯度回传操作。
[0041]所述下游钢材表面缺陷检测器的构建包括以下步骤：
[0042]针对上游钢材表面缺陷表征学习模型舍弃表征模型SimSE的映射对比模块，获取骨干特征提取网络ResNet<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，其特征在于，包括以下步骤：11)工业生产钢材图片的获取和预处理：获取有标签、无标签的工业生产钢材图片并进行预处理；12)上游钢材表面缺陷表征学习模型的构建：构建上游钢材表面缺陷表征学习模型；13)上游钢材表面缺陷表征学习模型的训练：利用预处理后的无标签工业生产钢材图片对上游钢材表面缺陷表征学习模型进行训练；14)下游钢材表面缺陷检测器的构建：基于利用大量无标签图片进行表征训练得到的骨干征提取网络，进行下游钢材表面缺陷检测器的构建；15)下游钢材表面缺陷检测器的训练：利用预处理后的有标签工业生产钢材图片对下游钢材表面缺陷检测器进行训练；16)待检测工业生产钢材图片的获取：获取待检测工业生产钢材图片，并进行预处理；17)工业生产钢材图片缺陷检测结果的获得：将预处理后的待检测工业生产钢材图片输入训练后的下游钢材表面缺陷检测器，获得工业生产钢材图片的缺陷检测结果。2.根据权利要求1所述的基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，其特征在于，所述工业生产钢材图片的获取和预处理包括以下步骤：21)获取工业生产钢材图片；22)对工业生产钢材图片进行数据增强处理：首先将工业生产钢材图片全部调整为224x224的大小，然后应用随机裁剪和随机水平翻转；再采用强度为0.4的亮度色彩增强、0.4的对比度增强、0.1的色调增强、应用概率为0.8，以及应用概率为0.2的随机灰度变换；23)对数据增强后的工业生产钢材图片进行高斯模糊处理。3.根据权利要求1所述的基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，其特征在于，所述上游钢材表面缺陷表征学习模型的构建包括以下步骤：31)设定SimSiam中骨干特征提取网络ResNet
‑
50：去掉原SimSiam中骨干特征提取网络ResNet
‑
50中的全局池化层，将得到的特征图保留，继续传入对比学习框架中后续的非线性映射模块；利用去掉池化层的编码器f对原始不带标记的钢材表面缺陷数据进行特征提取，输出为特征图，表示为Y；32)使用1x1卷积结构代替原有的MLP，利用卷积结构对特征图进行映射，采用具有匹配机制的EMD距离对各类钢材缺陷进行相似性的度量。4.根据权利要求1所述的基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，其特征在于，所述上游钢材表面缺陷表征学习模型的训练包括以下步骤：41)将预处理后的无标签工业生产钢材图片x做两个随机的增广，得到两张增广视图x1和x2：x1＝Augmentation
random
(x),x2＝Augmentation
random
(x)；42)将得到的两张增广视图x1和x2分别输入到编码器f中进行特征提取，得到两组特征图Y1和Y2；编码器f为舍弃掉全连接层和全局池化层的ResNet
‑
50网络，编码器f在两个增广视图之间共享权重；43)利用滑动步长为1的1x1卷积对得到的两组特征图Y1和Y2进行进一步的特征映射，并
保持特征图大小不变；44)在单边多加一级MLP映射h；考虑到计算复杂度，在此之前加上池化层，将特征图再池化为一维向量来进行最后的相似度计算，两个向量分别表示为：和其中，f为主干特征提取网络，g为第一级映射模块，由1x1卷积构成，h为第二级映射模块，由MLP组成；P1为x1经过特征提取网络f以及后续两个映射模块g和h后得到的特征向量，Z2为x2经过特征提取网络f以及后续的一个映射模块g后得到的特征向量；45)利用EMD距离计算两个向量的相似度：采用对称化的损失，即交换x1和x2经过网络得到的结果表示为Z1和P2；EMD距离公式和损失函数L的定义如下：D
EMD
(P,Z2)＝||P
‑
Z2||
EMD
，其中，Stopgrad()为停止梯度回传操作。5.根据权利要求1所述的基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，其特征在于，所述下游钢材表面缺陷检测器的构建包括以下步骤：51)针对上游钢材表面缺陷表征学习模型舍弃表征模型SimSE的映射对比模块，获取骨干特征提取网络ResNet
‑
50；52)设计权重迁移方案：将SimSE经在大量无标记的钢材表面缺陷数据集上利用对比表征学习得到的骨干特征提取网络部分的权重以通过改变权重名称的方式，载入下游钢材表面缺陷检测器Faster R
‑
CNN的骨干特征提取网络ResNet
‑
50中；53)将已载入钢材表面缺陷表征权重的Faster R
‑
CNN，作为下游钢材表面缺陷检测器。6.据权利要求1所述的基于自监督对比表征学习技术的工业生产中钢材图片缺陷检测方法，其特征在于，所述下游钢材表面缺陷检测器的训练为通过骨干网络对输入图片进行特征提取，得到图像的特征图；然后将特征图输入RPN建议网络进行区域建议生成，得到建议框；ROI池化层根据RPN网络的区域建议在特征提取网络输出的特征图中进行建议特征图的生成；然...

【专利技术属性】
技术研发人员：杨静，胡学进，何立新，孙恒辉，张召霞，
申请(专利权)人：合肥学院，
类型：发明
国别省市：