一种红外图像电力设备部件实时检测方法、服务器及系统技术方案

本发明专利技术公开了一种红外图像电力设备部件实时检测方法、服务器及系统，其中该方法包括步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。

A real-time detection method, server and system for infrared image power equipment components

The invention discloses a real-time detection method, infrared image power equipment component server and system, wherein the method comprises the following steps: (1) obtaining infrared images containing known power equipment components constitute the sample set, which samples each infrared images have marked the target frame with component level tags, target frame image area contains individual known power equipment components; step (2): to construct a neural network of the power equipment components of YOLO target detection framework based on detection of the samples with the infrared image and the corresponding component tag input to the neural network has been constructed and trained on the steps; (3): the neural network power equipment parts after training on the detection of unknown component tag to be measured infrared image processing, the test results of output power equipment components.

【技术实现步骤摘要】
一种红外图像电力设备部件实时检测方法、服务器及系统
本专利技术属于电力设备检测领域，尤其涉及一种红外图像电力设备部件实时检测方法、服务器及系统。
技术介绍
电力设备是电网运行的基本单元，对电力设备状态进行有效、准确的检测和评估，是电力设备状态检修和寿命周期管理的前提，也是智能调度运行的重要依据，可以为电网安全、可靠、高效的运行提供有力的技术支撑。为了对电力设备进行故障诊断，首先需要对图像中的电力设备进行检测和定位。具体地，需要对电力设备上的各个部件进行准确的定位和识别。传统的基于计算机视觉的红外图像电力设备部件检测技术仍然在采用人工设计的特征，不仅需要为在特定场景下的应用调整许多模型的参数，并且当红外图像的背景相对比较复杂的时候，传统的方法无法提供令人满意的结果。
技术实现思路
为了解决现有技术的不足，本专利技术的第一目的提供了一种红外图像电力设备部件实时检测方法，该方法对电力设备部件定位的准确度高，能够快速电力设备部件检测的应用场景。本专利技术的一种红外图像电力设备部件实时检测方法，包括：步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。进一步的，在所述步骤(2)对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。在步骤(2)中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获得一系列不同尺度的特征图；取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输入。具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增加，从而获得一系列的不同尺度的特征图。为了得到融合多尺度信息的特征图，本方法将低层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图，然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征图。其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。进一步的，在所述步骤(2)对已构建的神经网络进行训练的过程，还包括：将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比例。进一步的，在所述步骤(3)中采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理的过程包括：在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。进一步的，对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程为：首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。本专利技术的第二目的是提供了一种红外图像电力设备部件实时检测服务器。本专利技术的一种红外图像电力设备部件实时检测服务器，包括：样本集构建模块，其用于获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；神经网络训练模块，其用于构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；部件检测模块，其用于采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。进一步的，在所述神经网络训练模块中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。在该模块中，将红外图像进行多尺度处理，其中，尺度是指图像大小上的变化，获得一系列不同尺度的特征图；取任一较低层的特征图进行重组处理使得图像大小为原来的四分之一并且深度为原来4倍，将重组处理后的较低层的特征图和较高层的特征图在深度方向上进行连接，得到融合之后的最终特征图，该特征图再经过一次卷积操作之后作为多任务学习步骤的输入。具体实施中，多尺度特征提取包括传统的深度神经网络中的卷积、激活、池化以及批规范化的运算，具体是由原始的将红外图像I逐渐进行图像缩小，图像缩小的同时深度增加，从而获得一系列的不同尺度的特征图。为了得到融合多尺度信息的特征图，本方法将低层的分辨率较高的特征图重组成为长宽分辨率为原来四分之一，深度为原来4倍的特征图，然后将该特征图和高层分辨率一致的特征图在深度方向上进行连接，得到融合之后的特征图。进一步的，所述神经网络训练模块，还用于：将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。其中，交叠率为预测框和目标框之间的重叠面积占预测框和目标框总面积的比例。其中，较低层的特征图的图像长宽分辨率较大，较高层的特征图长宽分辨率较小。进一步的，所述部件检测模块，还用于：在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。进一步的，所述部件检测模块，还用于：首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。本专利技术的第三目的是提供了一种红外图像电力设备本文档来自技高网...

【技术保护点】
一种红外图像电力设备部件实时检测方法，其特征在于，包括：步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。

【技术特征摘要】
1.一种红外图像电力设备部件实时检测方法，其特征在于，包括：步骤(1)：获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；步骤(2)：构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；步骤(3)：采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。2.如权利要求1所述的一种红外图像电力设备部件实时检测方法，其特征在于，在所述步骤(2)对已构建的神经网络进行训练的过程中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。3.如权利要求2所述的一种红外图像电力设备部件实时检测方法，其特征在于，在所述步骤(2)对已构建的神经网络进行训练的过程，还包括：将红外图像分成预设大小的网格，在每一个具有目标框的网格内随机生成若干个预测框，每一个预测框具有框标签；在具有目标框的每个网格中，找到和目标框之间交叠率最大的预测框作为该网格的实际预测框；采用带动量SGD算法以实际预测框的框标签为训练对象进行迭代运算训练，使得每个网格内的实际预测框逐渐接近目标框，完成训练。4.如权利要求1所述的一种红外图像电力设备部件实时检测方法，其特征在于，在所述步骤(3)中采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理的过程包括：在电力设备部件检测神经网络的输出端得到未知待测图像划分成预设大小的网格以及各个网格获得各自的预测框的结果；对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果。5.如权利要求4所述的一种红外图像电力设备部件实时检测方法，其特征在于，对所有的预测框进行非极大值抑制，根据置信度选择预测框作为最终的预测结果的过程为：首先，对于属于同一电力设备部件类别的所有的预测框，若任意两个预测框的交叠率大于非极大值抑制交叠率阈值，则将置信度较小的预测框的置信度设置为0，置信度较大的预测框保留下来；然后，保留下来的预测框用置信度阈值进行筛选，排除预测框的框标签中置信度小于置信度阈值的预测框，保留预测框的框标签中置信度大于等于置信度阈值的预测框。6.一种红外图像电力设备部件实时检测服务器，其特征在于，包括：样本集构建模块，其用于获取包含已知电力设备部件的红外图像构成样本集，其中样本集中每幅红外图像均已标示目标框且均具有部件级标签，目标框是含有单个已知电力设备部件的图像区域；神经网络训练模块，其用于构建基于YOLO目标检测框架的电力设备部件检测的神经网络，将利用样本集中的红外图像及其对应的部件级标签输入至已构建的神经网络并对其进行训练；部件检测模块，其用于采用训练后的电力设备部件检测的神经网络对具有未知部件级标签的待测红外图像进行处理，输出电力设备部件的检测结果。7.如权利要求6所述的一种红外图像电力设备部件实时检测服务器，其特征在于，在所述神经网络训练模块中，通过多尺度特征提取到融合多尺度特征的特征图，在特征图中建立预测框，再通过多任务学习进行处理使得预测框接近于目标框。8.如权利要求7所述的一种红外图像电力设备部件实时检测服务器，其特征在于，所述神经网络训练模块，还用于：将红外图像分成预设大小的网格，在每一个具有目标框的网...

【专利技术属性】
技术研发人员：林颖，秦佳峰，辜超，郭志红，李程启，杨祎，白德盟，张皓，李娜，朱梅，徐冉，张围围，
申请(专利权)人：国网山东省电力公司电力科学研究院，国家电网公司，
类型：发明
国别省市：山东,37