基于视觉导航的变电站无人机巡检方法及系统技术方案

本发明专利技术公开了一种基于视觉导航的变电站无人机巡检方法及系统，包括：基于无人机采集的视频流数据，获取多张连续的视频帧图像；将视频帧图像输入特征提取网络，提取变电站道路环境特征，将提取的特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；根据输出的参数信息，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令以及生成无人机平移控制指令；根据控制指令，控制无人机飞行，进行巡检。本发明专利技术通过变电站的视觉图像学习，使得无人机能够认知预先设定的巡检路径及周边环境障碍，摆脱对GPS导航信号的依赖，实现变电站无人机自动巡检。实现变电站无人机自动巡检。实现变电站无人机自动巡检。

【技术实现步骤摘要】
基于视觉导航的变电站无人机巡检方法及系统


[0001]本专利技术涉及变电站巡检
，尤其涉及一种基于视觉导航的变电站无人机巡检方法及系统。

技术介绍

[0002]基于远程视频监控的“遥视”系统在变电站巡检中得到广泛应用，220kV及以下变电站已基本实现无人值守。然而，当前的遥视系统通常为一个简单的视频监控回路，缺乏对视频数据和环境数据所蕴含内容的自主化智能分析，安全监控主要还是依赖值班员的人眼观察，人员劳动强度大，自动化程度和作业效率低，加之巡检现场布线复杂，威胁作业人员的人身安全。场站监控效果受巡检人员素质、技术水平以及环境等多种因素影响，难以保障复杂工况下变电站运行的可靠性。
[0003]近年来，随着深度学习和类脑计算为代表的新一代人工智能技术的发展，出现了固定摄像头和机器人等变电站自主巡检手段，已逐渐取代传统的人工作业巡检。固定摄像头巡检受限于变电站空间复杂，遮挡物较多，需要部署大量的智能摄像头，后期运维和检修量大；巡检机器人适合室外开放区域，但是受路面平整度影响，巡检机器人活动范围有限，并且观测视野较窄，难以监测整个变电站区域。相对而言，无人机在变电站的巡检中具有视野宽阔、轻巧灵活、高效便捷、成本低廉等优势，近年来也已广泛应用到输电线路的巡检中。
[0004]目前的无人机巡检主要采用GPS导航的形式，人工预先设定巡航路线，引导无人机按航线飞行。受建筑物遮挡和电磁干扰的影响，变电站的GPS信号质量较差，难以提供精确的位置信息，给无人机自主巡检带来很大困难。此外，由于目前无人机大多为半开放平台，无法直接读取无人机状态信息与云台摄像头的视频流数据。

技术实现思路

[0005]为解决上述现有技术的不足，本专利技术提供了一种基于视觉导航的变电站无人机巡检方法及系统，通过利用无人机生产厂家普遍支持的APK(Android application package，安卓应用程序包)读取并处理无人机状态信息与摄像头视频流数据，通过变电站的视觉图像学习，使得无人机能够认知预先设定的巡检路径及周边环境障碍，从而摆脱对GPS导航信号的依赖，解决无人机在变电站巡检时受变电站GPS信号质量影响的问题，实现变电站无人机自动巡检，保障“无人值守”变电站的安全运行。
[0006]第一方面，本公开提供了一种基于视觉导航的变电站无人机巡检方法。
[0007]一种基于视觉导航的变电站无人机巡检方法，包括：
[0008]获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像；
[0009]将视频帧图像输入特征提取网络，提取变电站道路环境特征，将变电站道路环境特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；
[0010]根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令；根据无人机飞行所需平移参数，生成无人机平移控制指令；
[0011]基于无人机旋转方向控制指令和无人机平移控制指令，控制无人机飞行，进行巡检。
[0012]进一步的技术方案，所述偏航角预测网络由一个Resnet残差块与四个全连接层构成，对于每一输入特征，偏航角预测网络输出n个方向的变电站道路的偏角参数和
[0013]进一步的技术方案，所述偏航角预测网络的损失函数为标准负对数似然函数，公式为：
[0014][0015]上式中，D为训练数据集标注的方向标签，j表示第j个样本，j∈[1[N]，N为训练数据集样本中的总数，x∈(
‑
1,1)表示将图像中道路偏角的角度范围归一化后的值，P表示偏角方向为道路方向的概率；为偏航角预测网络的输出，即通过偏航角预测网络输出的各变电站道路的偏角参数；n表示变电站道路的道路方向个数。
[0016]进一步的技术方案，所述水平飞行预测网络包含一个Resnet残差块和三个全连接层，用于预测无人机飞行所需平移参数
[0017]进一步的技术方案，所述水平飞行预测网络的损失函数为均方误差损失，公式为：
[0018][0019]上式中，T为平移标签，为预测平移标签，i表示第i个样本，i∈[1[N]，N为训练数据集样本中的总数。
[0020]进一步的技术方案，所述根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令，包括：
[0021]根据偏航角预测网络输出的各方向的变电站道路的偏角参数，基于高斯混合模型，获取各变电站道路方向的概率分布；
[0022]将概率大于预定阈值部分所对应的概率分布段的中点为无人机飞行候选旋转方向；
[0023]选取概率最高的无人机飞行候选旋转方向为输出旋转方向，将输出旋转方向作为无人机偏航角；
[0024]通过线性放缩将旋转方向线性转换为无人机旋转角速度，生成无人机旋转方向控制指令。
[0025]进一步的技术方案，所述根据无人机飞行所需平移参数，生成无人机平移控制指令，包括：
[0026]根据水平飞行预测网络输出的无人机飞行所需平移参数，通过线性放缩将输出参数转换为无人机平移速度，生成无人机平移控制指令。
[0027]进一步的技术方案，将视频帧图像输入避障网络，识别视频帧图像中的障碍物，输出图像中存在障碍物的概率，当概率大于设定阈值时控制无人机执行避障操作；同时，通过避障网络输出无人机旋转角速度，控制无人机实现避障。
[0028]第二方面，本公开提供了一种基于视觉导航的变电站无人机巡检系统，包括无人机和地面站，所述无人机包括图像采集模块、机载处理模块和第一无线通信模块；所述地面站包括第二无线通信模块、数据读取模块和数据处理及控制模块；
[0029]所述图像采集模块用于采集变电站现场视频图像，并将采集的视频图像传输至机载处理模块，所述机载处理模块通过第一无线通信模块将采集的视频图像以视频流数据的形式传输至地面站；
[0030]地面站的第二无线通信模块用于获取无人机传输的视频流数据，所述数据读取模块用于获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像，并将视频帧图像传输至数据处理及控制模块，所述数据处理及控制模块用于执行上述基于视觉导航的变电站无人机巡检方法，下发控制指令，控制无人机飞行，进行巡检。
[0031]第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
[0032]第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
[0033]以上一个或多个技术方案存在以下有益效果：
[0034]1、本专利技术提供了一种基于视觉导航的变电站无人机巡检方法及系统，获取无人机所拍摄的实时视频图像，构建包括特征提取网络、偏航角预测网络与水平飞行预测网络的导航神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉导航的变电站无人机巡检方法，其特征是，包括：获取无人机采集的视频流数据，对视频流数据进行预处理，获取多张连续的视频帧图像；将视频帧图像输入特征提取网络，提取变电站道路环境特征，将变电站道路环境特征分别输入偏航角预测网络和水平飞行预测网络，输出各方向的变电站道路的偏角参数和无人机飞行所需平移参数；根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令；根据无人机飞行所需平移参数，生成无人机平移控制指令；基于无人机旋转方向控制指令和无人机平移控制指令，控制无人机飞行，进行巡检。2.如权利要求1所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述偏航角预测网络由一个Resnet残差块与四个全连接层构成，对于每一输入特征，偏航角预测网络输出n个方向的变电站道路的偏角参数和3.如权利要求2所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述偏航角预测网络的损失函数为标准负对数似然函数，公式为：上式中，D为训练数据集标注的方向标签，j表示第j个样本，j∈[1[N]，N为训练数据集样本中的总数，x∈(
‑
1，1)表示将图像中道路偏角的角度范围归一化后的值，P表示偏角方向为道路方向的概率；为偏航角预测网络的输出，即通过偏航角预测网络输出的各变电站道路的偏角参数；n表示变电站道路的道路方向个数。4.如权利要求1所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述水平飞行预测网络包含一个Resnet残差块和三个全连接层，用于预测无人机飞行所需平移参数5.如权利要求4所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述水平飞行预测网络的损失函数为均方误差损失，公式为：上式中，T为平移标签，为预测平移标签，i表示第i个样本，i∈[1[N]，N为训练数据集样本中的总数。6.如权利要求1所述的一种基于视觉导航的变电站无人机巡检方法，其特征是，所述根据各方向的变电站道路的偏角参数，基于高斯混合模型，确定无人机偏航角，进而生成无人机旋转方向控制指令，包括...

【专利技术属性】
技术研发人员：李晓磊，刘深蓝，张伟，宋然，程吉禹，王阳，
申请(专利权)人：山东大学，
类型：发明
国别省市：