基于视觉导航技术的无人机高精度饶塔智能巡检方法技术

本发明专利技术公开了一种基于视觉导航技术的无人机高精度饶塔智能巡检方法，包括如下步骤：建立直线杆塔及非直线杆塔类型数据库、重要部件图像数据集；将重要部件图像数据集随机划分为样本数据集和测试数据集；基于yolo v4目标检测算法建立卷积神经网络模型，利用样本数据集对卷积神经网络模型进行训练分别建立巡检图像前端部件识别模型和巡检图像缺陷识别模型；通过点云及无人机控制装置生成无人机的自动飞行航线；无人机根据自动飞行航线飞行，在每一个杆塔处对杆塔类型进行识别，利用巡检图像前端部件识别模型对杆塔上的重要部件进行拍照直至航线飞行结束；巡检图像缺陷识别模型对拍摄图像进行缺陷识别。本发明专利技术可显著提升巡检效率。

【技术实现步骤摘要】
基于视觉导航技术的无人机高精度饶塔智能巡检方法
本专利技术属于电网设备状态检测
，具体涉及一种基于视觉导航技术的无人机高精度饶塔智能巡检方法。
技术介绍
近年来，无人机巡检已成为输电线路的重要巡检手段，巡检效益和质量较传统人工巡检有显著提高。以无人机为代表的智能巡检方式自主性好、质量高，大幅提升了巡检的安全性和可靠性。以无人机和巡检机器人代替传统的人工巡检方式已成为发展趋势。巡线无人机自主水平低、故障识别精度低、续航里程短等问题严重制约了无人机的推广应用。无人机巡线技术已经广泛应用输电线路巡线作业，但是实际运行过程中由人工查看巡线视频和图像，存在人力工作量大、监测效率低、警情掌控不及时，从而无法保障无人机巡检结果的及时性、有效性、全面性。无人机输电线路巡检主要为人工手动操控无人机进行作业，飞手在地面上手动操控无人机，近距离拍摄采集杆塔各部位的照片影像，采集过程混乱，容易造成漏拍、错拍的现象，巡检效率和质量完全依赖于飞手的技术和责任心。无人机智能化程度低、对飞手专业水平要求高、续航里程短等问题严重制约了无人机的推广应用。
技术实现思路
针对无人机智能化程度低、无法精确地、高质量地实现图像采集的问题，本专利技术提出了一种基于视觉导航技术的无人机高精度饶塔智能巡检方法，有效解决了无人机巡检图像高质量高精度采集的问题。为解决以上技术问题，本专利技术所采用的技术方案如下：一种基于视觉导航技术的无人机高精度饶塔智能巡检方法，包括如下步骤：S1，建立直线杆塔及非直线杆塔类型数据库，收集所有重要部件的标准图像及缺陷图像，对标准图像和缺陷图像中的重要部件进行目标框标示形成重要部件图像数据集；S2，对步骤S1所建立的重要部件图像数据集中的图像进行处理，将重要部件图像数据集随机划分为样本数据集和测试数据集；S3，基于yolov4目标检测算法建立卷积神经网络模型，利用步骤S2中的样本数据集对卷积神经网络模型进行训练分别建立巡检图像前端部件识别模型和巡检图像缺陷识别模型；S4，通过点云及无人机控制装置生成无人机的自动飞行航线；S5，无人机按照步骤S4所生成的自动飞行航线飞行，在每一个杆塔处根据步骤S1中的直线杆塔及非直线杆塔类型数据库对杆塔类型进行识别，再利用步骤S3所建立的巡检图像前端部件识别模型对所有杆塔上的各重要部件进行图像拍摄直至航线飞行结束；S6，利用步骤S3所建立的巡检图像缺陷识别模型对步骤S5中所拍摄的图像进行缺陷识别输出缺陷识别图像。在步骤S1中，所述直线杆塔及非直线杆塔类型数据库包括直线杆塔及非直线杆塔的图像、直线杆塔上重要部件的拍摄航线；所述重要部件包括绝缘子串、防振锤、间隔棒、均压环。所述步骤S3包括如下步骤：S3.1，通过参数配置文件设置参数，所述参数包括初始学习率、学习步长、图像学习次数和判别精度阈值；S3.2，选取yolov4单阶段目标检测算法，利用参数配置文件初始化卷积神经网络模型；S3.3，利用步骤S2中的样本数据集对卷积神经网络模型进行迭代训练分别建立巡检图像前端部件识别模型和巡检图像缺陷识别模型；S3.4，利用测试数据集分别对巡检图像前端部件识别模型和巡检图像缺陷识别模型进行模型精度测试，利用巡检图像前端部件识别模型和巡检图像缺陷识别模型的判别结果目标框与测试数据集中的目标框进行重叠度计算，最终获得模型平均准确率；S3.5，将步骤S3.4所计算出的模型平均准确率分别与步骤S3.1所设定的判别精度阈值进行比较，若模型平均准确率均大于判别精度阈值，则执行步骤S4，否则，返回步骤S3.3。所述模型平均准确率的计算公式为：式中，AP表示模型平均准确率，P表示准确率，r表示召回率。所述步骤S4包括如下步骤：S4.1，无人机控制装置对无人机进行控制，无人机对所有杆塔进行杆塔图像拍照并对应记录杆塔的位置数据，通过多角度拍摄照片生成LAS点云；所述位置数据包括经度、纬度和海拔高度。S4.2，根据步骤S4.1所生成的LAS点云判断所述杆塔是否为直线塔，若为直线塔，调用步骤S1中的直线杆塔及非直线杆塔类型数据库生成直线塔飞行航线，若不为直线塔，利用无人机控制装置手动打点，同时记录手动打点位置的位置数据生成非直线塔飞行航线；S4.3，根据步骤S4.1中的杆塔的位置数据和步骤S4.2中的直线塔飞行航线和非直线塔飞行航线生成自动飞行航线。所述巡检图像缺陷识别模型识别缺陷的方法为：S6.1，巡检图像缺陷识别模型对输入的图像进行检测，根据图像获取每个图像所对应的至少3个尺度的特征图；S6.2，巡检图像缺陷识别模型对每个特征图进行目标窗口预测，利用非极大值抑制算法去除目标窗口中的冗余窗口；S6.3，利用巡检图像缺陷识别模型对步骤S6.2所得到的去除冗余窗口后的目标窗口进行识别，输出对应的缺陷识别图像。本专利技术的有益效果：本专利技术显著提升了巡检过程的智能化水平及巡检效率，是实现一键式巡检的基础；规范了无人机巡检工作规范，减少了人工操作无人机拍摄图片的随意性及工作量，实现了无人机的智能巡检；提高了无人机巡检的安全性与效率、大大节省了人力、物力和财力。与传统手动操作无人机巡检方式相比，极大提高了绕塔巡检作业自主性、自动化和智能化水平，使无人机绕塔巡检作业安全性更高、效率更高、易推广性更强，减轻运检人员劳动强度，大幅度降低运维成本。可精准实现对关键目标的捕捉和高精度抓拍，避免因环境因素飞机扰动和对焦等问题造成的漏拍或错拍，保证图像质量，显著提高国网巡检自动化作业水平，为电网管理获得更高的经济效益、安全效益和社会效益具有重要的意义。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的流程示意图。图2为P-R曲线图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了便于更好地理解本专利，现对yolov4s进行简要介绍：Yolov4在主干网络部分提出一种CSPDarkNet53特征提取网络和特征加强网络SPP，CSPDarkNet53特征提取网络用来解决以往网络结构需要大量推理计算的问题。特征融合部分使用PANet代替YOLOv3中的FPN作为参数聚合的方法，针对不同的检测器级别从不同的主干层进行参数聚合，并且对原PANet方法进行了修改，使用张量连接(concat)代替了原来的捷径连接(shortcutconnection本文档来自技高网...

【技术保护点】
1.一种基于视觉导航技术的无人机高精度饶塔智能巡检方法，其特征在于，包括如下步骤：/nS1，建立直线杆塔及非直线杆塔类型数据库，收集所有重要部件的标准图像及缺陷图像，对标准图像和缺陷图像中的重要部件进行目标框标示形成重要部件图像数据集；/nS2，对步骤S1所建立的重要部件图像数据集中的图像进行处理，将重要部件图像数据集随机划分为样本数据集和测试数据集；/nS3，基于yolo v4目标检测算法建立卷积神经网络模型，利用步骤S2中的样本数据集对卷积神经网络模型进行训练分别建立巡检图像前端部件识别模型和巡检图像缺陷识别模型；/nS4，通过点云及无人机控制装置生成无人机的自动飞行航线；/nS5，无人机按照步骤S4所生成的自动飞行航线飞行，在每一个杆塔处根据步骤S1中的直线杆塔及非直线杆塔类型数据库对杆塔类型进行识别，再利用步骤S3所建立的巡检图像前端部件识别模型对所有杆塔上的各重要部件进行图像拍摄直至航线飞行结束；/nS6，利用步骤S3所建立的巡检图像缺陷识别模型对步骤S5中所拍摄的图像进行缺陷识别输出缺陷识别图像。/n

【技术特征摘要】
1.一种基于视觉导航技术的无人机高精度饶塔智能巡检方法，其特征在于，包括如下步骤：
S1，建立直线杆塔及非直线杆塔类型数据库，收集所有重要部件的标准图像及缺陷图像，对标准图像和缺陷图像中的重要部件进行目标框标示形成重要部件图像数据集；
S2，对步骤S1所建立的重要部件图像数据集中的图像进行处理，将重要部件图像数据集随机划分为样本数据集和测试数据集；
S3，基于yolov4目标检测算法建立卷积神经网络模型，利用步骤S2中的样本数据集对卷积神经网络模型进行训练分别建立巡检图像前端部件识别模型和巡检图像缺陷识别模型；
S4，通过点云及无人机控制装置生成无人机的自动飞行航线；
S5，无人机按照步骤S4所生成的自动飞行航线飞行，在每一个杆塔处根据步骤S1中的直线杆塔及非直线杆塔类型数据库对杆塔类型进行识别，再利用步骤S3所建立的巡检图像前端部件识别模型对所有杆塔上的各重要部件进行图像拍摄直至航线飞行结束；
S6，利用步骤S3所建立的巡检图像缺陷识别模型对步骤S5中所拍摄的图像进行缺陷识别输出缺陷识别图像。


2.根据权利要求1所述的基于视觉导航技术的无人机高精度饶塔智能巡检方法，其特征在于，在步骤S1中，所述直线杆塔及非直线杆塔类型数据库包括直线杆塔及非直线杆塔的图像、直线杆塔上重要部件的拍摄航线；所述重要部件包括绝缘子串、防振锤、间隔棒、均压环。


3.根据权利要求1或2所述的基于视觉导航技术的无人机高精度饶塔智能巡检方法，其特征在于，所述步骤S3包括如下步骤：
S3.1，通过参数配置文件设置参数，所述参数包括初始学习率、学习步长、图像学习次数和判别精度阈值；
S3.2，选取yolov4单阶段目标检测算法，利用参数配置文件初始化卷积神经网络模型；
S3.3，利用步骤S2中的样本数据集对卷积神经网络模型进行迭代训练分别建立巡检图像前端部件识别模型和巡检图像缺陷识别模型；
S3.4，利用测试数据集分别对巡检图像前端部件识别模型和巡检图像缺...

【专利技术属性】
技术研发人员：何惠松，王雷，楚明月，胡永辉，裴付中，盛从兵，李玉伟，张哲，郭彦辉，
申请(专利权)人：国网河南省电力公司濮阳供电公司，国家电网有限公司，
类型：发明
国别省市：河南;41