一种基于知识蒸馏的高铁绝缘子缺陷检测方法技术

本发明专利技术公开了一种基于知识蒸馏的高铁绝缘子缺陷检测方法，涉及计算机视觉图像识别技术领域，包括以下步骤：S1、输入包含绝缘子的4C灰度图像；S2、提取灰度图像中的绝缘子，并对提取的绝缘子图像进行切块，得到绝缘子小块样本；S3、建立知识蒸馏教师网络，使用正常绝缘子小块样本和同样大小的背景小块样本对教师网络进行分类训练，使其参数空间中包含绝缘子的特征信息；S4、建立通道剪枝后的知识蒸馏学生网络，并对教师网络和学生网络进行共同训练和测试，根据测试过程中教师网络和学生网络在面对异常样本时的中间层输出不同，对缺陷绝缘子小块样本进行判断；根据缺陷判断结果建立缺陷分割热力图，并标注热力图中绝缘子缺陷区域。并标注热力图中绝缘子缺陷区域。并标注热力图中绝缘子缺陷区域。

【技术实现步骤摘要】
一种基于知识蒸馏的高铁绝缘子缺陷检测方法


[0001]本专利技术涉及计算机视觉图像识别
，更具体地说涉及一种基于知识蒸馏的高铁绝缘子缺陷检测方法。

技术介绍

[0002]在高铁实际运行环境中，由于列车的长期高密度运行，且运行环境处于户外环境，极易导致接触网支持装置发生故障，在外部严苛复杂环境、高铁列车震动等综合复杂因素的影响下，零部件会出现“松、脱、断、裂”等缺陷，导致接触网支持装置的结构稳定性下降、电气连接被破坏，给列车正常运行带来巨大隐患。通过常年的调查与统计，在高铁接触网系统的各种设备故障中，支持装置零部件故障所占比例高达70%以上，因此需要得到更多的关注。
[0003]在基于图像的接触网缺陷检测领域，通常有以下三种思路：1)根据先验知识人工设计判据，再使用分类器进行分类；2)通过深度学习算法中的有监督学习算法将故障检测问题转化为分类问题；3)通过深度学习算法中的无监督算习算法将故障检测问题转化为异常检测问题。
[0004]关于接触网缺陷检测的研究，应该采用无监督的方法，既上述三种思路中的第三种方法。
[0005]第1类算法属于传统的图像处理算法，传统图像处理算法普遍采用的仍是边缘检测、阈值分割、区域生长、特征聚类等算法。其步骤同目标定位类似，也是利用图像的各种特征（形状、纹理、边缘、颜色等）建立缺陷的特征描述子，然后采用分类器进行分类。第2类基于深度学习的有监督学习算法，虽然相对于传统图像处理算法，可以利用卷积神经网络提取零部件特征，其算法鲁棒性有较大提升。第3类基于深度学习的无监督学习算法本质上属于把接触网缺陷检测问题转化为异常检测问题。利用少量负样本（甚至没有负样本），进行接触网缺陷检测。这样就贴合了铁路接触网零部件缺陷检测领域只存在少量缺陷样本的实际情况。
[0006]采用无监督学习的方法解决了如下两个接触网缺陷检测的难点：1、传统图像算法设计特征繁杂、鲁棒性低、检测对象稍有变动就需要重新设计特征。
[0007]2、深度学习中的有监督学习算法的特征提取工作需要大量的接触网缺陷样本。
[0008]综上所述，通过无监督学习算法对接触网零部件进行缺陷检测具有重要的理论和现实意义。
[0009]在铁路接触网缺陷检测领域，在存在大量负样本的情况下，有监督深度学习有一定的应用。Junwen Chen等设计了一个三级级联的深度卷积神经网络(DCNNs)框架，对紧固件缺陷进行了诊断。Xavier Giben等训练了一个端到端的DCNNs来进行铁路铁轨材料的分类和语义分割。Junping Zhong对DCNNs变种网络PVANET进行了结构优化，使其能够更好的适应接触网开口销的定位与检测。Zhigang Liu等利用改进的卷积神经网络以及孔洞分析
的方法，对等电位线的散股故障进行检测。
[0010]更多情况下，负样本匮乏，需要使用无监督学习的方法来完成缺陷检测。Gaoqiang Kang等采用了深度降噪自编码器进行无监督学习，和深度材料分类器组成多任务学习网络。无需缺陷绝缘子样本参与训练且表现良好。Junping Zhong等引入了可回归偏转角的回归框，可倾斜的定位框可以达到更为精准的定位效果，使用GAN
‑
2对绝缘子切片进行缺陷检测，评估贴片的重构误差以分析缺陷的情况。Xuemin Lu等人使用重建损失、编码损失和对抗损失三个损失函数相结合，用MS
‑
SSIM对损失函数进行联合评估以区分绝缘子缺陷样本。另一方面，Dongkai Zhang等也尝试了把正常绝缘子的特征提取出来，输入到编码器中，在编码后的向量中加入噪声，解码生成缺陷特征。使用生成的缺陷特征训练缺陷检测分类器，实现了绝缘子缺陷检测的无监督学习，实验证明检测效果良好。
[0011]Mohammadreza Salehi等提取专家网络的各个maxpool2D层输出，让学生网络的对应maxpool2D层模仿其输出，使其在面对正常样本输入时有相似的特征输出和结果输出。而异常样本输入时，由于学生网络参数量不够，模仿能力不足，两个网络的特征输出和结果输出就会不同。利用学生网络的这种不完全模仿能力，完成了对异常检测数据集MVTecAD的异常检测，指标达到SOTA水平。后者还把知识蒸馏网络和常见的异常检测算法：AE, AnoGAN, VAE
‑
grad等做了指标对比，检测结果均好于对照组算法。
[0012]现有技术中，在高铁接触网绝缘子缺陷样本稀少的情况下，难以实现缺陷检测。目前国内外针对接触网绝缘子无监督学习缺陷检测的研究主要使用基于GAN网络，AE网络的算法，使用知识蒸馏算法的研究尚未出现或者公开。

技术实现思路

[0013]为了克服上述现有技术中存在的缺陷，本专利技术公开了一种基于知识蒸馏的高铁绝缘子缺陷检测方法，本专利技术的目的是解决现有技术中在高铁接触网绝缘子缺陷样本稀少的情况下，难以实现缺陷检测的问题。该方法利用正常样本和相同大小的背景样本对VGG
‑
16教师网络进行分类预训练，使其拥有绝缘子特征信息。在训练阶段，使用正常样本对教师网络和学生网络进行正向传播和反向传播，使学生网络在面对正常输入时的卷积层特征与教师网络相似。在测试阶段，测试集包含缺陷样本和正常样本，缺陷样本对应的得分高，正常样本对应的得分低。分类完成后，还可利用基于梯度的显著性算法求得绝缘子缺陷分割热力图。其核心是通过教师网络和学生网络在面对异常样本时的中间层输出不同，实现缺陷绝缘子的判定。
[0014]为了实现以上目的，本专利技术采用的技术方案：一种基于知识蒸馏的高铁绝缘子缺陷检测方法，包括以下步骤：一、图像输入S1、输入包含绝缘子的4C灰度图像。
[0015]本专利技术中，S1步骤中，输入包含绝缘子的4C灰度图像，记为I。
[0016]二、图像预处理S2、提取灰度图像中的绝缘子，并对提取的绝缘子图像进行切块，得到绝缘子小块样本。
[0017]优选的，所述S2步骤中，在YOLOv5s网络的预测框中加入180个角度类别信息，形成
R
‑
YOLOv5s网络，然后对绝缘子进行提取。
[0018]本专利技术中，利用R
‑
YOLOv5提取绝缘子图像：使用改进后的YOLOv5s网络对绝缘子进行精确提取。改进内容为：在预测框中加入180个角度类别信息，使得YOLOv5s可以得到角度类别信息。R
‑
YOLOv5s实现了绝缘子的精确定位，排除了背景信息的干扰。
[0019]优选的，所述S2步骤中，将提取的绝缘子图像进行切块，绝缘子小块样本大小为128*128像素。
[0020]本专利技术中，因为绝缘子缺陷通常都过小，知识蒸馏缺陷检测算法对某些小缺陷无法实现精确检测，所以将绝缘子图像进行切块，小块大小为128*128像素。后续使用小块绝缘子图像进行训练和测试，最后再根据小块的位置信息进行拼合。
[0021]三、教师网络预训练S3、建立知识蒸馏教师网络，使用正常绝缘子小块样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的高铁绝缘子缺陷检测方法，其特征在于，包括以下步骤：S1、输入包含绝缘子的4C灰度图像；S2、提取灰度图像中的绝缘子，并对提取的绝缘子图像进行切块，得到绝缘子小块样本；S3、建立知识蒸馏教师网络，使用正常绝缘子小块样本和同样大小的背景小块样本对教师网络进行分类训练，使其参数空间中包含绝缘子的特征信息；S4、建立通道剪枝后的知识蒸馏学生网络，并对教师网络和学生网络进行共同训练和测试，根据测试过程中教师网络和学生网络在面对异常样本时的中间层输出不同，对缺陷绝缘子小块样本进行判断；根据缺陷判断结果建立缺陷分割热力图，并标注热力图中绝缘子缺陷区域。2.如权利要求1所述的高铁绝缘子缺陷检测方法，其特征在于，所述S2步骤中，利用R
‑
YOLOv5s网络对绝缘子进行提取，其预测框中包含180个角度类别信息；绝缘子小块样本大小为128*128像素。3.如权利要求1所述的高铁绝缘子缺陷检测方法，其特征在于，所述S3步骤中，使用VGG
‑
16骨干网络，去掉其分类层，作为知识蒸馏网络的教师网络。4.如权利要求1所述的高铁绝缘子缺陷检测方法，其特征在于，所述S4步骤包括共同训练测试步骤、打分判断步骤、小块热力图生成步骤和缺陷检测报告生成步骤；所述共同训练测试步骤，建立通道剪枝后的知识蒸馏学生网络，并利用正常绝缘子小块样本对教师网络和学生网络进行共同训练，训练完后将每一绝缘子小块样本均加入教师网络和学生网络中进行共同测试，在测试过程中，根据教师网络和学生网络在面对异常样本时的中间层输出不同，得到样本的总损失值；所述打分判断步骤，根据全体样本的总损失值，对每个测试的绝缘子小块样本进行打分，并根据打分结果输出绝缘子小块样本位置信息；再根据打分结果和样本位置信息，报告正常绝缘子小块样本和缺陷绝缘子小块样本的信息，得到绝缘子缺陷检测结果；所述小块热力图生成步骤，采用积分梯度法和平滑梯度法对教师网络和学生网络进行梯度回传并生成小块热力图，再对热力图进行噪声抑制；所述缺陷检测报告生成步骤，利用绝缘子小块样本的位置信息和噪声抑制后的小块热力图，将小块热力图组合成为完整热力图，并标注热力图中绝缘子缺陷区域，再根据完整热力图，以及绝缘子缺陷检测结果，生成绝缘子缺陷检测报告。5.如权利要求4所述的高铁绝缘子缺陷检测方法，其特征在于，所述共同训练测试步骤中，共同训练时，对学生网络进行梯度更新，对教师网络不进行梯度更新；使用通道剪枝后的VGG
‑
16作为知识蒸馏算法的学生网络，除每个卷积模块的最后一层外，将其他卷积层的通道数均压缩为16；训练所使用的损失函数...

【专利技术属性】
技术研发人员：于龙，杨珂浩，高仕斌，张冬凯，董文波，宋超，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：