一种基于深度学习的电力设备检测方法技术

本发明专利技术提出了一种基于深度学习的电力设备检测方法，涉及图像处理技术领域。本发明专利技术提供一种基于深度学习的电力设备检测方法，包括样本收集、样本标注、样本预处理、模型训练、模型测试和滑动检测。本发明专利技术可以实现精确的设备定位和设备类型的检测，大大降低人工成本，提高巡检机器人的智能化水平。

A Power Equipment Detection Method Based on Deep Learning

The invention provides a method for detecting electric power equipment based on deep learning, which relates to the field of image processing technology. The invention provides a method for detecting electric power equipment based on in-depth learning, including sample collection, sample labeling, sample preprocessing, model training, model testing and sliding detection. The invention can realize accurate equipment positioning and equipment type detection, greatly reduce the labor cost, and improve the intelligence level of inspection robot.

【技术实现步骤摘要】
一种基于深度学习的电力设备检测方法
本专利技术属于图像处理
，涉及一种电力设备的检测方法。
技术介绍
通常，为了掌握设备运行状况，及时发现设备隐患，监视设备运行动态，确保设备的安全运行，需要电力巡检机器人对各种仪表、信号指示装置是否正常，电流、电压、有功、无功等参数是否在允许范围内进行定期的巡检监控。然而，电力巡检机器人在进行定期的电力巡检任务前，需要知道应该在何处进行何种类型的巡检，即每个巡检设备的位置坐标和巡检的设备类型。一般来说，可以通过人工预先控制机器人到达每个巡检点，记录当前巡检点的设备位置坐标和需要巡检的设备类型；亦或巡检机器人通过场景图片的拍摄，基于各种电力设备的检测方法，从而获得设备的位置坐标和需要巡检的设备类型，即基于视觉系统进行。然而，传统上，基于视觉系统的电力设备检测主要基于滑动窗口的方式，通过边缘、灰度梯度和几何特性等方式完成设备的定位和类型识别。但由于光照、阴影等使得图像中的噪声和各种干扰信息过多，加之设备的多样性，传统的视觉方法无法有效的完成上述任务。因此，大多数的巡检机器人都依赖于人工的方式设定巡检点来完成设备巡检任务。即通过人工预先控制机器人到达每个巡检点，记录当前巡检点的设备位置坐标和需要巡检的设备类型，然后当机器人巡检时，再读取这些信息来完成设备的定位和巡检。
技术实现思路
本专利技术的目的是：解决传统基于视觉系统的电力设备检测无法有效胜任的问题，提供一种基于深度学习的电力设备检测方法。具体而言，本专利技术的技术方案，包括以下步骤：1)样本收集：收集样本，所述样本为拍摄有电力设备的实际场景的图片；将收集的样本称为第一样本；2)样本标注：如为首次标注则采用人工的方式对第一样本进行标注，如为模型迭代优化则先利用已有模型对第一样本进行自动标注，再进行人工检查和修改；标注的内容为样本图片中每个设备最小包围框的左上角和右下角的坐标值以及每个包围框中的设备类型；将进行样本标注后的样本称为第二样本；3)样本预处理：对第二样本进行随机裁剪，生成样本尺度统一的第三样本，将第三样本按比例划分为模型训练样本集和模型测试样本集；4)模型训练：基于ResNet-101的R-FCN检测方法，利用深度学习工具CAFFE对步骤3)得到的模型训练样本集进行模型训练；5)模型测试，具体为：利用步骤3)得到的模型测试样本集对模型进行测试，判断模型的平均精度是否满足要求：若满足要求，则模型训练合格，进行步骤6)；若不满足要求，则模型训练不合格，重复步骤1)-4)进行模型的迭代优化；6)滑动检测，具体为：设置滑动窗口，将待测图片切分为若干与滑动窗口分辨率相同的局部待测图片；利用经步骤5)模型测试合格的模型对局部待测图片进行电力设备检测，获得电力设备位置及类型。进一步而言，所述步骤1)具体为：从实际场景中收集样本；将样本通过裁剪缩放或0像素值填充的方式进行尺度统一，同时确保尺度统一后的样本中，每个设备的高度和宽度在样本图片中所占的像素点数均需不低于20，且不高于图片最短边的1/3，由此得到第一样本。进一步而言，所述第一样本的总数不低于2万个。进一步而言，所述步骤3)中对第二样本的随机裁剪保持与样本图片的宽高比例一致，并且裁剪的样本图片需缩放到一个新的统一尺度上，生成所述第三样本；所述新的统一尺度的取值范围为步骤1)中第一样本的尺度的1/3至1/2，且设备的高度和宽度在随机裁剪缩放的样本图片中所占的像素点数均不低于20且不高于图片最短边的1/2。进一步而言，所述样本随机裁剪还包括样本标注数据的自适应计算，即根据步骤2)中的标注数据，计算每个设备在裁剪缩放的样本图片中最小包围框左上角和右下角的坐标值以及每个包围框中的设备类型。进一步而言，所述步骤3)中模型训练样本集和模型测试样本集中每种类型设备数量需保持相对的平衡，并且训练及测试样本总数不低于25万个。进一步而言，达成所述平衡的方法为：对于类型偏少的设备进行样本的补充生成，即在人工标注的图片中，选择包含该类型的图片，进行额外的随机裁剪，生成新的模型训练样本集和模型测试样本集。进一步而言，所述滑动框的分辨率尺寸与所述步骤3)中新的统一尺度一致。进一步而言，所述滑动框的水平滑动步长为滑动框宽度的一半，滑动框的竖直滑动步长为滑动框高度的一半。进一步而言，对步骤6)的电力设备检测获得的结果至少进行过一种结果去重算法的去重。本专利技术与现有技术相比，其显著优点为：(1)本专利技术充分利用了电力设备在拍摄的场景图片中分布密集、数量多、轮廓分明等特点，通过对样本图片的随机裁剪进行尺度的统一，将有限的样本数据资源进行了充分的扩充，降低了数据的收集量及人工标定的工作量，大大节约了人工成本；(2)本专利技术通过对基于ResNet-101的R-FCN检测算法的修改，提高了对小目标的检测率，而且降低了对模型训练的硬件要求，大大降低了开发及迭代成本；(3)本专利技术采用滑动检测的方式，在模型应用时，同样也降低了对巡检机器人的硬件需求，被检测的图片还可以是整幅拼接的完整的巨大场景图片，提高了模型的适用范围。附图说明图1为本专利技术流程图。图2为本专利技术中数据预处理示意图。图3为本专利技术中滑动检测流程示意图。具体实施方式下面结合实施例并参照附图对本专利技术作进一步详细描述。实施例1：本实施例为一种配电房室内巡检机器人进行电力设备巡检的方法，基于深度学习而提出。随着人工智能技术的不断发展，深度学习已经在计算机视觉的分类、检测、语意分割、文本识别等多领域取得了突破性的进展。尤其时可以通过深度卷积神经网络从大量的数据中自动提取特征，相对于传统人工提取特征的方法，能更好的学习到物体本质的表征特性。因此，基于深度学习的检测方法，不仅能够克服光照、阴影等噪声和各种干扰，还可以从电力设备多样性的外形中提取出有用特征，并准确的给出设备在图像中的位置坐标和类型，从而克服传统方式无法解决的难题。如图1所示，本实施例的基于深度学习的电力设备检测方法，包括以下步骤：1)样本收集所谓样本，就是拍摄有电力设备的图片，要求均为实际场景样本，可以是直接收集到的配电房室内巡检机器人在各个站点实际巡检时拍摄的图片，也可以从手机、照相机、摄像机等图像采集设备在实际站点拍摄的图片和视频中进行截取。将收集的样本图片统一转换为1920×1080的分辨率，在保证图片中设备比例不变的情况下，即设备不能产生形变，对大于该分辨率的图像进行裁剪及缩放，而对低于该分辨率的图片进行四周填充0像素值的方式进行扩充。此外，须确保绝大部分的设备高度和宽度在图片中所占的像素点数均不低于20且不高于360(即不高于图片最短边的1/3)，同时确保收集的图片总数不低于2万张。2)样本标注对于首次标注(即尚未训练下文所述的模型时)，通过图像标注工具，采用人工的方式进行样本标注。而在模型的迭代过程中，可以嫌利用已有模型行自动标注，然后再经人工检查和修改标注来降低人工标注的工作量。标注的内容主要包括收集的样本图片中每个设备最小包围框左上角和右下角的坐标值，以及每个包围框中的设备类型。3)样本预处理如图2所示，首先，分别将每一张人工标注的样本图片进行随机的裁剪，裁剪框的分辨率大小为16N×9N，其中，随机整数N的取值范围可为[40，80]，设图片中设备宽度或高度的最大值为Lmax，若Lmax/本文档来自技高网...

【技术保护点】
1.一种基于深度学习的电力设备检测方法，其特征在于，包括以下步骤：1)样本收集：收集样本，所述样本为拍摄有电力设备的实际场景的图片；将收集的样本称为第一样本；2)样本标注：如为首次标注则采用人工的方式对第一样本进行标注，如为模型迭代优化则先利用已有模型对第一样本进行自动标注，再进行人工检查和修改；标注的内容为样本图片中每个设备最小包围框的左上角和右下角的坐标值以及每个包围框中的设备类型；将进行样本标注后的样本称为第二样本；3)样本预处理：对第二样本进行随机裁剪，生成样本尺度统一的第三样本，将第三样本按比例划分为模型训练样本集和模型测试样本集；4)模型训练：基于ResNet‑101的R‑FCN检测方法，利用深度学习工具CAFFE对步骤3)得到的模型训练样本集进行模型训练；5)模型测试，具体为：利用步骤3)得到的模型测试样本集对模型进行测试，判断模型的平均精度是否满足要求：若满足要求，则模型训练合格，进行步骤6)；若不满足要求，则模型训练不合格，重复步骤1)‑4)进行模型的迭代优化；6)滑动检测，具体为：设置滑动窗口，将待测图片切分为若干与滑动窗口分辨率相同的局部待测图片；利用经步骤5)模型测试合格的模型对局部待测图片进行电力设备检测，获得电力设备位置及类型。...

【技术特征摘要】
1.一种基于深度学习的电力设备检测方法，其特征在于，包括以下步骤：1)样本收集：收集样本，所述样本为拍摄有电力设备的实际场景的图片；将收集的样本称为第一样本；2)样本标注：如为首次标注则采用人工的方式对第一样本进行标注，如为模型迭代优化则先利用已有模型对第一样本进行自动标注，再进行人工检查和修改；标注的内容为样本图片中每个设备最小包围框的左上角和右下角的坐标值以及每个包围框中的设备类型；将进行样本标注后的样本称为第二样本；3)样本预处理：对第二样本进行随机裁剪，生成样本尺度统一的第三样本，将第三样本按比例划分为模型训练样本集和模型测试样本集；4)模型训练：基于ResNet-101的R-FCN检测方法，利用深度学习工具CAFFE对步骤3)得到的模型训练样本集进行模型训练；5)模型测试，具体为：利用步骤3)得到的模型测试样本集对模型进行测试，判断模型的平均精度是否满足要求：若满足要求，则模型训练合格，进行步骤6)；若不满足要求，则模型训练不合格，重复步骤1)-4)进行模型的迭代优化；6)滑动检测，具体为：设置滑动窗口，将待测图片切分为若干与滑动窗口分辨率相同的局部待测图片；利用经步骤5)模型测试合格的模型对局部待测图片进行电力设备检测，获得电力设备位置及类型。2.如权利要求1所述的基于深度学习的电力设备检测方法，其特征在于，所述步骤1)具体为：从实际场景中收集样本；将样本通过裁剪缩放或0像素值填充的方式进行尺度统一，同时确保尺度统一后的样本中，每个设备的高度和宽度在样本图片中所占的像素点数均需不低于20，且不高于图片最短边的1/3，由此得到第一样本。3.如权利要求2所述的基于深度学习的电力设备检测方法，其特征在于，所述第一样...

【专利技术属性】
技术研发人员：吴肖，程敏，毛成林，王锋，项导，
申请(专利权)人：亿嘉和科技股份有限公司，
类型：发明
国别省市：江苏,32