基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法技术

本发明专利技术涉及电力巡检技术领域，尤其涉及一种基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法。包括以下步骤：1、从数据源抽取数据，建立训练样本库，对巡检数据标注后分类存储；2、搭建训练平台，利用BP神经网络技术对样本库数据进行训练，生成训练模型；3、在检测系统中导入训练模型和待检测图像数据，根据任务需求进行杆塔和通道目标识别和缺陷诊断，生成缺陷报告。本发明专利技术将人工智能引入电力巡检领域，实现从电力巡检数据训练样本库建立、模型训练、未知图像目标识别和缺陷诊断的全流程操作，实现从原始巡检数据输入到缺陷结果导出整个过程的自动化运行，节省劳动力，降低人工肉眼检测的难度和错误率，提高了电力巡检效率。

【技术实现步骤摘要】
基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法
本专利技术涉及电力巡检
，尤其涉及一种基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法。
技术介绍
电力设备巡检是保证电力设备安全运行的一项重要工作，目前国内普遍采用人工巡视、手工记录的方式，这种方式存在人力成本高、工作效率低、巡检数据信息化程度低等缺陷，尤其是在线路巡检工作中，还存在有些线路地处偏僻地区，人员无法到达，或有些设备安装位置较高，人员攀爬不便等问题。随着无人机、有人机拍摄技术的发展，在电力巡检领域逐渐采用通过拍摄现场图像，将图像传回中心，观察图像，识别目标或故障的方式。在应用上述方法时，存在海量图片数据存储混乱，采用人工肉眼判读，容易造成检测误判或漏检，而且没有实现图像的自动处理和分析，信息自动化程度仍旧不高。
技术实现思路
为进一步解决上述问题，本专利技术将人工智能技术应用到电力巡检领域，基于神经网络训练模型识别未知图像，使得电力巡检更加高效、便捷、精确。本专利技术采用的技术方案为：一种基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，包括以下步骤：步骤1、从数据源抽取数据，建立训练样本库，对巡检数据标注后分类存储；步骤2、搭建训练平台，利用神经网络技术对样本库数据进行训练，生成训练模型；步骤3、在检测系统中导入训练模型和待检测图像数据，根据任务需求进行杆塔和通道目标识别和缺陷诊断，生成缺陷报告。本专利技术在建立训练样本库时只需要从海量数据中抽取部分数据进行人工手动标注，标注完成的图片按照层级关系存储起来，使得数据结构条理，为简化训练过程提供数据支持。本专利技术构建训练平台时比较灵活，基于Web端的训练平台可以让用户进行远程训练操作，按照训练类别的划分，既可以进行单类目标的训练，又能综合多种目标同时进行训练，得到训练模型，将其应用到其他未知图像的目标识别中。目标识别在后台运行的过程是按照一定的规则从大尺度目标到小尺度目标进行，从而实现对杆塔部件、金具、鸟巢、销钉的识别检测。针对通道巡检数据进行通道隐患检测，在进行检测的过程中可以根据用户电脑配置自行决定在中央处理器(CPU)或者图像处理器(GPU)进行。当对图片检测完成后，根据缺陷图像的类型进行汇总分析，生成巡检报告，并可以将其导出word文档。步骤1的具体步骤为：步骤1.1、从原始数据源抽取数据，建立训练样本库；步骤1.2、确定类别和标注准则，对样本库数据进行人工标注；步骤1.3、将标注后的样本数据按照目标类别和层级关系分类存储；步骤1.4、完成标注样本库的建立，为训练提供数据源。步骤1.1中原始数据源是通过无人机、有人机或人工拍照方式产生的图像数据。步骤1.2中进行人工标注时首先根据数据来源将标注分为杆塔巡检本体目标和通道巡检目标两大类，再根据电力巡检数据特有的层次结构，对数据进行处理，又可以分为防鸟特巡、杆塔本体目标和杆塔本体缺陷目标；其中防鸟特巡分为：鸟巢、鸟刺、人造鸟巢、挡板；杆塔本体目标分为：大金具和小金具，大金具包括防震锤、间隔棒、均压环、绝缘子、连接部件，小金具包括销钉、螺母；杆塔本体缺陷目标分为：绝缘子爆片、防震锤损坏、销钉和螺母缺失；通道巡检目标包括：施工外破、施工车辆、违章建筑物、水、毛竹和泡桐树。步骤2的具体步骤为：步骤2.1、配置训练环境，采用支持多GPU和分布式训练的mxnet作为训练平台；步骤2.2、将训练样本库数据上传到服务器；步骤2.3、建立训练任务，设置训练类别、训练次数和计算资源；步骤2.4、进行迭代训练：基于FasterRCNN目标检测算法，利用VGG或ResNet网络模型结构提取图像的特征，对特征信息采用区域候选框的方式确定目标区域，采用误差回传方式对网络参数进行调整，实施迭代训练，生成训练模型；步骤2.5、训练完成，将训练模型下载到本地。杆塔中有大小不一各种目标，为了提高训练速度，训练时进行参数调整时加入先验知识，根据目标尺度的不同，预先改变候选框的大小，降低目标区域的叠加次数，从而提高了训练速度，且一定程度上提高了检测的精确度。电力行业缺陷种类较多，导致缺陷样本数量参差不齐，为了解决样本数量对训练造成的影响，训练过程中根据样本量的变化调整网络层数和结构，在训练样本不足时，压缩网络结构，提高拟合程度。步骤3的具体步骤为：步骤3.1、将本地下载的训练模型导入检测系统，同时将拍摄得到的图片以及地理坐标、台账信息导入检测系统；步骤3.2、对未知图像进行目标识别和缺陷诊断，包括杆塔特定目标识别、杆塔缺陷检测和通道隐患检测；步骤3.3、按照三维地图中杆塔位置对应的图片或预览图片格式对检测结果进行查看；步骤3.4、对检测结果生成缺陷列表，进而生成缺陷报告；步骤3.5、进行缺陷汇总，导出缺陷报告。步骤3.1中向系统导入数据时，之所以导入杆塔的台账信息和地理坐标，是因为可以根据杆塔的台账信息将图片位置和地理坐标信息吻合在一起，显示在三维地球中，如果检测到哪张图片里存在缺陷，就可以精确地知道什么位置的几号杆塔出现了故障。无人机航拍影像一般分辨率都很高，而杆塔中的销钉、螺母在影像中占的像素数普遍较低，为了解决对缺失销钉的识别，目标识别时采用高低层语义结合方式，按照大小尺度目标先后检测的层级策略，实现对小目标缺陷的识别。本专利技术生成缺陷报告的方式比较灵活，根据需求，可选择批量生成缺陷报告或针对某个目标或缺陷单独生成缺陷报告，并可以将生成的文档导出或打印。本专利技术的有益效果：1、本专利技术将人工智能引入电力巡检领域，实现从电力巡检数据训练样本库建立、模型训练、未知图像目标识别和缺陷诊断的全流程操作方案，实现从原始巡检数据输入到缺陷结果导出整个过程的自动化运行，节省劳动力，降低人工肉眼检测的难度和错误率，提高了电力巡检检测效率。2、根据电力巡检数据的独特特征修改神经网络结构，通过数据集增强等手段提高目标检测的精确度。附图说明图1是本专利技术方法的主流程图；图2是步骤1的流程图；图3是步骤2的流程图；图4是步骤3的流程图。具体实施方式下面结合附图对本专利技术进行详细说明。一种基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，包括以下步骤：步骤1、抽取数据，建立训练样本库，对巡检数据标注后分类存储。具体步骤如下：步骤1.1、从无人机等设备拍摄的海量图片数据中抽取部分数据，建立训练样本库。步骤1.2、确定类别和标注准则，对样本库数据进行人工标注；首先根据数据来源将标注分为杆塔巡检本体目标和通道巡检目标两大类，再根据电力巡检数据特有的层次结构，对数据进行处理，又可以分为防鸟特巡、杆塔本体目标和杆塔本体缺陷目标；其中防鸟特巡分为：鸟巢、鸟刺、人造鸟巢、挡板；杆塔本体目标分为：大金具和小金具，大金具包括防震锤、间隔棒、均压环、绝缘子、连接部件，小金具包括销钉、螺母；杆塔本体缺陷目标分为：绝缘子爆片、防震锤损坏、销钉和螺母缺失；通道巡检目标包括：施工外破、施工车辆、违章建筑物、水、毛竹和泡桐树。步骤1.3、将标注后的样本数据按照目标类别和层级关系分类存储。步骤1.4、完成标注样本库的建立，为训练提供数据源。步骤2、搭建训练平台，对样本库数据进行训练，生成训练模型。具体步骤为：步骤2.1、配置训练环境，其中硬件设施采用多块NVIDIA显卡级联，配置好驱动和CUDA加速，并采本文档来自技高网...

【技术保护点】
1.一种基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，其特征在于包括以下步骤：步骤1、从数据源抽取数据，建立训练样本库，对巡检数据标注后分类存储；步骤2、搭建训练平台，利用BP神经网络技术对样本库数据进行训练，生成训练模型；步骤3、在检测系统中导入训练模型和待检测图像数据，根据任务需求进行杆塔和通道目标识别和缺陷诊断，生成缺陷报告。

【技术特征摘要】
1.一种基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，其特征在于包括以下步骤：步骤1、从数据源抽取数据，建立训练样本库，对巡检数据标注后分类存储；步骤2、搭建训练平台，利用BP神经网络技术对样本库数据进行训练，生成训练模型；步骤3、在检测系统中导入训练模型和待检测图像数据，根据任务需求进行杆塔和通道目标识别和缺陷诊断，生成缺陷报告。2.根据权利要求1所述的基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，其特征在于：步骤1的具体步骤为：步骤1.1、从原始数据源抽取数据，建立训练样本库；步骤1.2、确定类别和标注准则，对样本库数据进行人工标注；步骤1.3、将标注后的样本数据按照目标类别和层级关系分类存储；步骤1.4、完成标注样本库的建立，为训练提供数据源。3.根据权利要求2所述的基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，其特征在于：步骤1.1中原始数据源是通过无人机、有人机或人工拍照方式产生的图像数据。4.根据权利要求2所述的基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，其特征在于：步骤1.2中进行人工标注时首先根据数据来源将标注分为杆塔巡检本体目标和通道巡检目标两大类，再根据电力巡检数据特有的层次结构，对数据进行处理，又可以分为防鸟特巡、杆塔本体目标和杆塔本体缺陷目标；其中防鸟特巡分为：鸟巢、鸟刺、人造鸟巢、挡板；杆塔本体目标分为：大金具和小金具，大金具包括防震锤、间隔棒、均压环、绝缘子、连接部件，小金具包括销钉、螺母；杆塔本体缺陷目标分为：绝缘子爆片、防震锤损坏、销钉和螺母缺失；通道巡检目标包括：施工外破、施工车辆、违章建筑物、水、毛竹和泡桐树。5.根据权利要求1所述的基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法，其特征在于：步骤2的具体步骤为：步骤2.1、配置训练环境，采用支持多GPU和分布式训练的mx...

【专利技术属性】
技术研发人员：高小伟，吴合风，辛亚锋，赵慧童，高松鹤，
申请(专利权)人：北京御航智能科技有限公司，
类型：发明
国别省市：北京,11