一种基于深度学习的电塔绝缘纸检测方法技术

本发明专利技术公开了一种基于深度学习的电塔绝缘纸检测方法，在渲染合成的数据集上实现电网绝缘纸的检测，并可用于实际生活场景；本发明专利技术首先使用三维重建技术，得到了一个真实电塔的模型，并利用该模型，结合目前主流的渲染引擎，渲染得到了可用于训练目标检测网络的数据集；随后将该数据集送入特征提取网络当中；对于一张图片可以得到多个不同维度的有效图片特征，再通过特征融合结构对不同的图片特征进行融合增强，最后将得到的增强图片特征送入检测网络的检测头当中得到最终的有效准确检测结果。络的检测头当中得到最终的有效准确检测结果。络的检测头当中得到最终的有效准确检测结果。

【技术实现步骤摘要】
一种基于深度学习的电塔绝缘纸检测方法


[0001]本专利技术属于计算机视觉、计算机图形学领域，具体涉及一种基于深度学习的电塔绝缘纸检测方法。

技术介绍

[0002]绝缘纸常用作电缆，线圈，变压器等多种电路设备的绝缘材料，在电网传输电力的过程中起到了至关重要的重要。然而电塔高压线变压器上用到的绝缘纸常常是有使用寿命限制的，可能因酸性雨水等自然原因被腐蚀，需要定期检查和更换以保障电路传输安全。在此之前，检查绝缘纸通常需要人工在实地用肉眼或者操控无人机拍摄图像进行筛选识别，其效率低，耗费时间长，且检修员在电网架设的各种复杂地形地貌中来回穿梭风险较大，不利于电网线路的维护。
[0003]近年来，随着人工智能的发展，深度学习在解决各项视觉任务中得到了广泛而成功的应用，例如目标检测，目标识别和分类。使用深度学习代替人工可以节省大量人力资源成本。并且计算机渲染技术也日渐趋于完善，使用计算机渲染虚拟场景，可以得到接近真实相机拍摄效果的图像，这一点又恰好解决了深度学习方法的效果很大程度上依赖于数据集好坏，但真实数据集需要耗费较多人力物力来收集的问题。将深度学习与渲染技术结合，可极大地节省物资和时间成本。
[0004]深度学习和渲染技术应用已经十分广泛，但目前仍然缺乏相应的技术将两者结合，应用于电网绝缘纸检测。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习的电塔绝缘纸检测方法。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习的电塔绝缘纸检测方法，包括以下步骤：采集电塔模型参数、真实电塔图像和各类地面背景参数，以构建电塔在多种复杂地貌上的场景；物理渲染，构建好的电塔在多种复杂地貌上的场景通过物理渲染，以获得渲染好的电塔图像和渲染好的电网绝缘纸图片；构建训练模型，以真实电塔图像训练渲染后的电塔图像，获取电塔图像训练模型，以构建检测网络；构建绝缘纸检测网络，以绝缘纸检测网络对比检测网络得到检测结果。
[0007]进一步的，多种复杂地貌上的场景，在渲染时的具体步骤如下：围绕电线杆随机产生相机视角，同时保证相机始终朝向电线杆中心部分。
[0008]进一步的，保证相机始终朝向电线杆中心部分具体方式为：在构建的三维场景中，通过内置质心计算功能得到电塔物体的中心位置世界坐标
；每次渲染一个随机视角的电塔图像时，在电塔物体中心位置的基础上加上一个随机的偏移，该次渲染图像时相机成像聚焦点的世界坐标；确定相机聚焦位置，设置相机到聚焦点的距离的随机的值，同时设置一个随机的相机朝向三维向量，获得相机的世界坐标为。
[0009]进一步的，构建检测网络的具体步骤如下：图像特征提取，提取部分CSPDarknet结构；特征提取部分FPN，对CSPDarknet中提取得到的不同维度的特征进行拼接融合得到的特征表示；网络检测头部构建，包括类别分类和检测框回归预测部分，类别分类用于对特征进行分类判断是否为绝缘纸，检测框回归部分用于对绝缘纸检测框的位置以及形状大小进行调整。
[0010]作为优选的，所述CSPDarknet结构包括Focus结构、SPP结构和CSPnet，Focus结构、SPP结构和CSPnet用于构建检测网络卷积层，具体步骤如下：Focus结构用于对图像特征通道数进行扩充，在图像的每一个特征通道里每隔一个像素获取一个值，获得四个独立的特征层，将四个特征层进行堆叠，将特征通道数扩展四倍；SPP结构用于对图像特征使用不同大小的池化核进行最大池化，以提高网络的感受野；CSPnet结构作为残差结构，主干部分进行卷积块的堆叠，另一部分与主干部分进行拼接。
[0011]进一步的，包括渲染电网绝缘纸图片的具体步骤：确认了绝缘纸在三维空间中的bounding box的8个顶点坐标，通过相机投影矩阵，获得8个顶点坐标在二维成像平面的坐标值；然后分别取轴上的最大值和最小值作为二维平面上的bounding box范围；一个场景中存在多个绝缘纸，即存在多个二维图像平面上的bounding boxes，通过图像像素值有效范围对bounding box进行筛选，确定有效的bounding box作为图像的目标检测真实标签。
[0012]作为优选的，还包括对bounding box进行筛选的方法，具体步骤如下：对绝缘纸物体赋予一个特定的通道值，其他部分例如电线杆，和地面赋予其他相同的通道值，通过通道渲染模式，获得针对绝缘纸的语义分割图像；设定当boundingbox区域内绝缘纸的像素占比大于30%时，作为有效目标，构建了合成渲染数据集的真实值；通过数据集的真实值建立检测框。
[0013]进一步的，构建绝缘纸检测网络的具体方法如下：首先将渲染好的电网绝缘纸图片送入CSPDarknet里面进行特征提取，提取到的特征可以被称作特征层，是输入图片的特征集合；在主干部分，获取三个特征层进行下一步网络的构建，这三个特征层为有效特征层；三个特征层分别位于主干部分CSPdarknet的不同位置，分别位于中间层，中下层，底层，当输入为(640,640,3)的时候，三个特征层的shape分
别为feat1=(80,80,256)、feat2=(40,40,512)、feat3=(20,20,1024)。
[0014]在主干部分获得三个有效特征层后会通过构建FPN层来进行特征融合，具体构建方法为使用feat3特征层进行1次1X1卷积调整通道后获得P5，P5进行上采样后与feat2特征层进行结合获得P5_upsample3，P5_upsampl特征层进行1次1X1卷积调整通道后获得P4，P4进行上采样后与feat1特征层进行结合得到P3_out，P3_out特征层进行一次3x3卷积进行下采样后与P4堆叠得到P4_out，P4_out特征层进行一次3x3卷积进行下采样，下采样后与P5堆叠得到P5_out。
[0015]通过构建FPN层得到增强后特征p3_out，p4_out，p5_out，将特征送入检测网络检测头进行检测框的预测得到最终检测结果。
[0016]进一步的，绝缘纸检测网络对比检测网络得到检测结果的具体方法如下：将绝缘纸检测网络中FPN层得到的增强后的特征送入检测网络检测头进行检测框的预测得到最终检测结果。
[0017]需要说明的是，绝缘纸检测网络对比检测网络的具体步骤为：输入到网络检测头的每一个特征，会获得三个预测结果，为Reg、Obj和Cl，其中Reg包含有检测框的中心位置以及检测框大小信息，Obj代表检测框内是否有类似绝缘纸的物体，Cls则表示检测框内物体为绝缘纸的置信度，其值在0到1之间；在获得了三个预测结果后会进行得分筛选以及非极大抑制；得分筛选是对检测框内绝缘纸的置信度进行判断，只有当置信度大于一定的值才判定为绝缘纸，该值设定为0.5；在检测结果中可能会有多个检测框包含同一个绝缘纸，这时使用非极大抑制进行检测框的筛选，首先取出所有重合绝缘纸检测框中置信度最大的框，然后计算其它绝缘纸检测框和它的重合程度IOU的值，当IOU大于一定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的电塔绝缘纸检测方法，其特征在于：包括以下步骤：采集电塔模型参数、真实电塔图像和各类地面背景参数，以构建电塔在多种复杂地貌上的场景；物理渲染，构建好的电塔在多种复杂地貌上的场景通过物理渲染，以获得渲染好的电塔图像和渲染好的电网绝缘纸图片；构建训练模型，以真实电塔图像训练渲染后的电塔图像，获取电塔图像训练模型，以构建检测网络；构建绝缘纸检测网络，以绝缘纸检测网络对比检测网络得到检测结果。2.根据权利要求1所述的一种基于深度学习的电塔绝缘纸检测方法，其特征在于：多种复杂地貌上的场景，在渲染时的具体步骤如下：围绕电线杆随机产生相机主视角，相机主视角始终朝向电线杆中心部分。3.根据权利要求2所述的一种基于深度学习的电塔绝缘纸检测方法，其特征在于：相机主视角始终朝向电线杆中心部分的实现方法如下：在构建的三维场景中，通过质心计算得到电塔物体的中心位置世界坐标；每次渲染一个随机视角的电塔图像时，在电塔物体中心位置的基础上加上一个随机的偏移，该次渲染图像时相机成像聚焦点的世界坐标；确定相机聚焦位置，设置相机到聚焦点的距离的随机的值，同时设置一个随机的相机朝向三维向量，获得相机的世界坐标为。4.根据权利要求1所述的一种基于深度学习的电塔绝缘纸检测方法，其特征在于：构建检测网络的具体步骤如下：图像特征提取，提取部分CSPDarknet结构；特征提取部分FPN，对CSPDarknet中提取得到的不同维度的特征进行拼接融合得到的特征表示；网络检测头部构建，包括类别分类和检测框回归预测部分，类别分类用于对特征进行分类判断是否为绝缘纸，检测框回归部分用于对绝缘纸检测框的位置以及形状大小进行调整。5.根据权利要求4所述的一种基于深度学习的电塔绝缘纸检测方法，其特征在于：所述CSPDarknet结构包括Focus结构、SPP结构和CSPnet，Focus结构、SPP结构和CSPnet用于构建检测网络卷积层，具体步骤如下：Focus结构用于对图像特征通道数进行扩充，在图像的每一个特征通道里每隔一个像素获取一个值，获得四个独立的特征层，将四个特征层进行堆叠，将特征通道数扩展四倍；SPP结构用于对图像特征使用不同大小的池化核进行最大池化，以提高网络的感受野；CSPnet结构作为残差结构，主干部分进行卷积块...

【专利技术属性】
技术研发人员：刘帅成，杨玉麟，卢良通，杨裕强，李子琦，邓创，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：