一种基于半监督语义分割的工业设备表面裂纹检测方法及系统技术方案

本发明专利技术提供一种基于半监督语义分割的工业设备表面裂纹检测方法及系统。本发明专利技术包括如下步骤：获取设备表面带裂纹的原始图片，进行像素级别的缺陷标注；将原始图片输入进深度卷积生成对抗网络进行训练，获得不带标签训练集；构建半监督语义分割网络SE

【技术实现步骤摘要】
一种基于半监督语义分割的工业设备表面裂纹检测方法及系统


[0001]本专利技术涉及工业设备表面裂纹检测
，尤其涉及一种基于半监督语义分割的工业设备表面裂纹检测方法及系统。

技术介绍

[0002]工业设备表面一旦出现裂纹，将会直接影响设备运转的整体性能，进而引发各种安全隐患，所以工业设备的质量检测是工业生产中不容忽视的一个重要环节。通常情况下，工业设备的质量检测由人工培训来识别复杂的表面缺陷，然而，这种检测方式非常耗时、低效，严重制约了生产效率的提升，因此找到一种在保证检测结果准确率的基础上提升检测速度的方法就显得尤为重要。
[0003]目前深度学习方法已经成为计算机视觉领域最常用的方法，其中基于数字图像处理的语义分割技术由于具有人工成本低和检测结果稳定可靠等特点，被广泛地应用于缺陷检测领域，例如带钢的表面缺陷识别等。通过设计包含多个卷积层的卷积神经网络，网络可以处理具有复杂纹理特征的工件图像。将其代替传统计算机视觉算法作为系统的图像处理算法，系统的工件缺陷检测能力将得到极大地提高。
[0004]由于图像处理手段在工业设备中的限制，即深度学习技术依赖于大量的数据训练模型保证结果的精度，而目前工业领域能获取的裂纹样本数量有限就成为了一大问题；同时裂纹的小目标问题及检测模型的实时性问题，也是目前语义分割检测技术面临的挑战。

技术实现思路

[0005]根据上述提出的技术问题，而提供一种基于半监督语义分割的工业设备表面裂纹检测方法及系统。本专利技术提供一种基于半监督语义分割模型进行工业设备表面裂纹检测的方法，使用传统监督学习和无监督学习相结合的方式，在带标记数据集有限的情况下，使用自学习机制训练带masked交叉熵损失的分割网络，不仅能够克服小目标问题和实时性问题对工业设备裂纹检测的影响，而且还能够提高缺陷诊断精度。本专利技术采用的技术手段如下：
[0006]一种基于半监督语义分割的工业设备表面裂纹检测方法，包括如下步骤：
[0007]获取工业设备裂纹图像，获得原始数据集；
[0008]训练深度卷积生成对抗网络，利用训练好的生成器Aug
‑
GNet生成高质量裂纹图像，获得扩增图像数据集；
[0009]将原始数据集和扩增图像数据集共同输入到半监督语义分割网络SE
‑
Net，使用传统监督学习和无监督学习相结合的方式进行裂纹检测。
[0010]具体包括如下步骤：
[0011]步骤1、获取设备表面带裂纹的原始图片，进行像素级别的缺陷标注，获得带标签训练集；
[0012]步骤2、将原始图片输入进深度卷积生成对抗网络进行训练，所述深度卷积生成对
抗网络包括生成器Aug
‑
GNet和鉴别器Aug
‑
DNet，利用训练好的生成器Aug
‑
GNet生成预设数量的高质量裂纹图像，随机划分为训练样本和待检测样本，获得用以进行无监督学习的不带标签训练集；
[0013]步骤3、构建半监督语义分割网络SE
‑
Net，将带标签训练集和不带标签训练集输入进SE
‑
Net进行监督学习与无监督学习相结合的训练；基于GAN网络的生成对抗思想，生成器替换为语义分割缺陷检测模型SE
‑
GNet，生成裂纹分割图像，鉴别器SE
‑
DNet对分割结果进行鉴别，判断输入属于标记图像还是SE
‑
GNet生成的图像；
[0014]步骤4、将待检测样本图像输入到训练好的SE
‑
GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。
[0015]进一步地，所述步骤1中，通过工业相机采集设备表面带裂纹的原始图片，使用标注软件LabelMe对原始图片进行标注，形成相对应的PNG标注图像，并将原始图像与标注图像分别保存在目标文件夹的Image文件夹和Label文件夹。
[0016]进一步地，所述步骤2中，生成器Aug
‑
GNet和鉴别器Aug
‑
DNet部分分别引入注意力机制。
[0017]进一步地，Aug
‑
GNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第四层和第五层反卷积层之间，捕获图像中存在的长距离空间关系；输入为100维随机噪声，反卷积步长为2，经过5层反卷积层后得到固定分辨率的裂纹图像；
[0018]Aug
‑
DNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第一层和第二层卷积层之间，卷积步长为2，全0填充，输入大小为128*128*3的裂纹图像，经过最后的全连接层得到一维结果输出，结果为0对应图像来源为生成的扩增图像，结果为1对应真实裂纹图像。
[0019]进一步地，所述半监督语义分割网络SE
‑
Net的训练采用交替训练的方式；
[0020]步骤31、首先冻结SE
‑
GNet网络参数，训练鉴别器SE
‑
DNet，输入为标签图像或者SE
‑
GNet生成图像，SE
‑
DNet网络仅包含卷积层，批归一化层及Leaky ReLu激活函数层，输出层采用sigmoid激活函数将输出结果范围限制在(0，1)之间，输出结果的特征图大小与SE
‑
GNet最后一层的特征图尺寸相匹配，通道数为1；
[0021]将原始图像输入到SE
‑
GNet得到缺陷分割生成图，然后输入到SE
‑
DNet中，计算损失函数时标签为0；
[0022]SE
‑
DNet的损失函数如公式(1)所示：
[0023][0024]其中，X表示裂纹原图，Y表示标记图像，G(.)表示SE
‑
GNet最后一层输出的分割图像，D(.)表示SE
‑
DNet输出的置信图，y表示平衡权重，i表示图像像素点的位置，N表示图像的像素总数；
[0025]步骤32、训练完SE
‑
DNet之后，冻结其网络参数，开始训练生成器SE
‑
Gnet，SE
‑
GNet分割网络采用CS
‑
ESP轻量化模型作为基础网络；
[0026]SE
‑
GNet生成网络输入带标签数据集进行监督学习，输出分割结果，调整标签图像尺寸与分割结果一一对应，以进行交叉损失函数的计算，其中监督学习方式损失函数分为以下两个部分：
[0027]L
seg
‑
super
＝L
CE
+L
adv
，其中标签图像的交叉熵损失函数L
CE
的计算如公式(2)所示，
[0028][0029]其中，N(G)为边网输出的总像素个数；Y
G,i...

【技术保护点】

【技术特征摘要】
1.一种基于半监督语义分割的工业设备表面裂纹检测方法，包括如下步骤：获取工业设备裂纹图像，获得原始数据集；训练深度卷积生成对抗网络，利用训练好的生成器Aug
‑
GNet生成高质量裂纹图像，获得扩增图像数据集；将原始数据集和扩增图像数据集共同输入到半监督语义分割网络SE
‑
Net，使用传统监督学习和无监督学习相结合的方式进行裂纹检测。2.根据权利要求1所述的一种基于半监督语义分割的工业设备表面裂纹检测方法，其特征在于，具体包括如下步骤：步骤1、获取设备表面带裂纹的原始图片，进行像素级别的缺陷标注，获得带标签训练集；步骤2、将原始图片输入进深度卷积生成对抗网络进行训练，所述深度卷积生成对抗网络包括生成器Aug
‑
GNet和鉴别器Aug
‑
DNet，利用训练好的生成器Aug
‑
GNet生成预设数量的高质量裂纹图像，随机划分为训练样本和待检测样本，获得用以进行无监督学习的不带标签训练集；步骤3、构建半监督语义分割网络SE
‑
Net，将带标签训练集和不带标签训练集输入进SE
‑
Net进行监督学习与无监督学习相结合的训练；基于GAN网络的生成对抗思想，生成器替换为语义分割缺陷检测模型SE
‑
GNet，生成裂纹分割图像，鉴别器SE
‑
DNet对分割结果进行鉴别，判断输入属于标记图像还是SE
‑
GNet生成的图像；步骤4、将待检测样本图像输入到训练好的SE
‑
GNet网络进行裂纹检测，得到对应输出的裂纹检测结果。3.根据权利要求2所述的基于半监督语义分割的工业设备表面裂纹检测方法，其特征在于，所述步骤1中，通过工业相机采集设备表面带裂纹的原始图片，使用标注软件LabelMe对原始图片进行标注，形成相对应的PNG标注图像，并将原始图像与标注图像分别保存在目标文件夹的Image文件夹和Label文件夹。4.根据权利要求3所述的基于半监督语义分割的工业设备表面裂纹检测方法，所述步骤2中，生成器Aug
‑
GNet和鉴别器Aug
‑
DNet部分分别引入注意力机制。5.根据权利要求4所述的基于半监督语义分割的工业设备表面裂纹检测方法，Aug
‑
GNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第四层和第五层反卷积层之间，捕获图像中存在的长距离空间关系；输入为100维随机噪声，反卷积步长为2，经过5层反卷积层后得到固定分辨率的裂纹图像；Aug
‑
DNet为五层卷积神经网络加一层注意力机制的结构，其中的注意力机制模块嵌在第一层和第二层卷积层之间，卷积步长为2，全0填充，输入大小为128*128*3的裂纹图像，经过最后的全连接层得到一维结果输出，结果为0对应图像来源为生成的扩增图像，结果为1对应真实裂纹图像。6.根据权利要求5所述的基于半监督语义分割的工业设备表面裂纹检测方法，所述半监督语义分割网络SE
‑
Net的训练采用交替训练的方式；步骤31、首先冻结SE
‑
GNet网络参数，训练鉴别器SE
‑
DNet，输入为标签图像或者SE
‑
GNet生成图像，SE
‑
DNet网络仅包含卷积层，批归一化层及Leaky ReLu激活函数层，输出层采用sigmoid激活函数将输出结果范围限制在(0，1)之间，输出结果的特征图大小与SE
‑
GNet最后一层的特征图尺寸相匹配，通道数为1；将原始图像输入到SE

【专利技术属性】
技术研发人员：彭玉怀，郝悦，王文茜，王晨路，吴菁晶，
申请(专利权)人：东北大学，
类型：发明
国别省市：