基于多层卷积神经网络的输电线路自动识别系统及方法技术方案

本发明专利技术公开了一种基于多层卷积神经网络的输电线路自动识别系统及方法，包括：设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物体位置信息；目标跟踪模块：根据检测到的物体位置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。本发明专利技术有益效果：深度学习可以自动学习到反映目标的良好特征,无需人工设计，也无需重新设计，一次训练，到处执行，只需模型调优和多次离线训练。

【技术实现步骤摘要】
基于多层卷积神经网络的输电线路自动识别系统及方法
本专利技术属于电力系统运行和故障诊断
，具体涉及一种基于多层卷积神经网络的输电线路自动识别系统及方法。
技术介绍
目前，电力系统针对传统输电线路的图像数据库存在类别少、数量不足、结构和场景单一等问题，仅能针对特定任务进行识别。线上障碍物千差万别，尺度变化极大，光照影响非常明显。尤其是受到一义多图、一图多物、一物多态、异物相似等多重因素的影响，输电线路上可靠的图像识别技术仍存在许多悬而未决的问题，距实际应用仍有很大差距，尤其是针对线路缺陷此类高发性事件。因此如何面向巡检实际需求建立图像的高效表示和分类方法，实现图像的准确识别，尤其是基于图像的故障诊断具有重要意义。传统的特征表达通过手工设计的特征来实现PAST、LOG、HOG、SIFT、SURF、HARRIS特征提取算子几乎都只着眼于底层特征。缺点是费时费力,需要根据具体问题和任务的不同而重新设计。
技术实现思路
本专利技术的目的就是为了解决上述问题，提出了一种基于多层卷积神经网络的输电线路自动识别系统及方法，该系统及方法利用GPU的强大协同并行计算能力，结合多层卷积神经网络模型在训练中的并行特点，实现快速高效的架空输电线路视觉分析系统，利用GPU强大的计算能力，巡检机器人在运行过程中其视觉系统能够实现实时目标识别效果以及体现实时分析能力。为了实现上述目的，本专利技术采用如下技术方案：基于多层卷积神经网络的架空输电线路自动识别系统，包括：设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物体位置信息；目标跟踪模块：根据检测到的物体位置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。进一步地，所述设备图片数据库中的图像或者视频要求能够从不同方位以及不同光线情况下反映设备的状态。进一步地，包括：在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物体位置信息；根据检测到的物体位置信息，辅以检测目标结构化的先验信息，采用基于检测的跟踪方法实现对目标的在线跟踪；采用多层卷积神经网络模型，实现不同尺度、背景、光照以及角度下的输电线路上设备类型的识别。进一步地，在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物体位置信息时，采用多层卷积神经网络模型的目标检测方法。进一步地，采用多层卷积神经网络模型的目标检测方法具体为：(1)将输入图片划分为S*S的网格，每个网格给出B个边界盒判决，每个边界盒判决五元组数据，5个信息元分别为:x，y，w，h，object_prb,其中x和y为边界盒的中心坐标，w和h为box的长宽，object_prob为边界盒内存在物体的概率Pr(Object)；(2)每个小网格给出有物体存在时的C个分类的条件概率Pr(Class|Object)，从而得到整体图片中各个小网格内的各分类概率Pr(类别)＝Pr(Class|Object)*Pr(目标)；设置判决阈值，高于判决阈值的就是识别出的目标分类；(3)根据各个小网格中的已识别目标分类，及每一个目标分类对应的边界盒信息，计算出各个目标的整个分割区域位置信息，从而在图像或视频中标记出来；(4)计算最终的IOU为预测边界盒与物体真实区域的交集面积。进一步地，挑选大量被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化情况的样本进行深度学习；假设每一个视频帧彼此独立，根据以往检测和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。进一步地，采用基于检测的跟踪方法实现对目标的在线跟踪时，根据前一帧的物体位置信息来检测当前帧中的全部的扫描子窗口，检测到目标可能出现的一个或者多个位置；根据检测结果给出当前帧中是否存在目标以及目标的位置信息。进一步地，采用基于检测的跟踪方法实现对目标的在线跟踪时，假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。进一步地，实现不同尺度、背景、光照以及角度下的输电线路上设备类型的识别时，利用深度学习的方法提取图片的特征算子；离线状态下，在现有设备图像数据库的基础上实现多层卷积神经网络的训练，得到稳定的分类器；将巡检机器人实时获取的线路信息与分类器中的信息进行对比，搜索设备状态，实现架空输电线路上障碍物的自动识别。进一步地，多层卷积神经网络模型包括：输入层、卷积层、全连接层和输出层；输入层将经过预处理的图像送入卷积神经网络的卷积层进行卷积；进行降采样/池化：将Pooling窗口中的所有值组合，以最大值作为采样值；全连接层的投影矩阵以及阈值通过随机梯度下降的方式更新优化；输出层即分类器，由欧式径向基函数单元组成，每个输出RBF单元计算输入向量x和参数向量c之间的欧式距离，取欧式距离最大值作为最终输出结果。本专利技术有益效果：1.本专利技术采用深度学习算法，可以自动学习到反映目标的良好特征,无需人工设计，也无需重新设计，一次训练，到处执行，只需模型调优和多次离线训练。经验证训练好的模型对于图像识别正确率极高且鲁棒性良好。2.GPU强大的运行能力解决了大规模数据训练与测试的实时性问题。附图说明图1为采用多层卷积神经网络模型进行输电线路识别示意图；图2为多层卷积神经网络模型的两级特征提取过程示意图；图3为架空输电线整体构架示意图。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步的说明。针对传统的PAST、LOG、HOG、SIFT、SURF、HARRIS等方法提取特征算子费时费力的问题，卷积神经网络(CNN)主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。本专利技术提出一种基于多层卷积神经网络的架空输电线路自动识别系统，包括：设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；传统人工巡检和直升机巡检的方法拍摄有大量导地线、金具、绝缘子、杆塔图片，将这些图片分类保存并用labelimg软件对图片进行标记。由于线上障碍物千差万别，尺度变化极大，光照影响非常明显，尤其是受到一义多图、一图多物、一物多态、异物相似等多重因素的影响，设备图片数据库中的图片要求能够从不同方位以及不同光线情况反映设备的状态。目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物体位置信息；目标跟踪模块：根据检测到的物体位置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。本专利技术提出一种基于多层卷积神经网本文档来自技高网...

【技术保护点】
基于多层卷积神经网络的架空输电线路自动识别系统，其特征在于，包括：设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物体位置信息；目标跟踪模块：根据检测到的物体位置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。

【技术特征摘要】
1.基于多层卷积神经网络的架空输电线路自动识别系统，其特征在于，包括：设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物体位置信息；目标跟踪模块：根据检测到的物体位置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。2.如权利要求1所述的一种基于多层卷积神经网络的架空输电线路自动识别系统，其特征在于，所述设备图片数据库中的图像或者视频要求能够从不同方位以及不同光线情况下反映设备的状态。3.基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，包括：在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物体位置信息；根据检测到的物体位置信息，辅以检测目标结构化的先验信息，采用基于检测的跟踪方法实现对目标的在线跟踪；采用多层卷积神经网络模型，实现不同尺度、背景、光照以及角度下的输电线路上设备类型的识别。4.如权利要求3所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物体位置信息时，采用多层卷积神经网络模型的目标检测方法。5.如权利要求4所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，采用多层卷积神经网络模型的目标检测方法具体为：(1)将输入图片划分为S*S的网格，每个网格给出B个边界盒判决，每个边界盒判决五元组数据，5个信息元分别为:x，y，w，h，object_prb,其中x和y为边界盒的中心坐标，w和h为box的长宽，object_prob为边界盒内存在物体的概率Pr(Object)；(2)每个小网格给出有物体存在时的C个分类的条件概率Pr(Class|Object)，从而得到整体图片中各个小网格内的各分类概率Pr(类别)＝Pr(Class|Object)*Pr(目标)；设置判决阈值，高于判决阈值的就是识别出的目标分类；(3)根据各个小网格中的已识别目...

【专利技术属性】
技术研发人员：郭锐，李振宇，张峰，李勇，吴观斌，许玮，慕世友，李超英，傅孟潮，李建祥，赵金龙，王万国，
申请(专利权)人：国网山东省电力公司电力科学研究院，山东鲁能智能技术有限公司，国家电网公司，
类型：发明
国别省市：山东,37