一种无人机高压线目标点选取与实时定位方法技术

本发明专利技术公开了一种无人机高压线目标点选取与实时定位方法，包括通过无人机搭载视觉深度相机获取高压线图像；通过用于电力线图像分割的深度学习模型对获取的高压线图像进行切割，获取高压线分割蒙版；采用电力线蒙版分割滤波方法获取滤波后的高压线分割蒙版，以获得高压线分割图像；获得初始帧相机坐标系下目标点的三维坐标；持续提取原始高压线图像上的特征点在当前帧中跟踪，采用

【技术实现步骤摘要】
一种无人机高压线目标点选取与实时定位方法


[0001]本专利技术属于图像处理
，具体来说，涉及一种无人机高压线目标点选取与实时定位方法
。

技术介绍

[0002]对输配电网线路进行定期巡视检查，是确保输电安全平稳运行的关键
。
而在人工巡线时常面临巡线距离长
、
工作量大效率缓慢，高风险性高等问题，无人机因其环境适应性强，在电力线巡检的运用中逐渐增多
。
但利用无人机巡线也存在一定限制，其中最主要的是续航时间有限，单次飞行时长一般不超过
40
分钟，作业半径一般不超过5公里，执行长距离长时间的巡检任务需往复执行，极大降低了作业效率
。
目前解决无人机续航问题主要有三种方案：
1)
采用油动型无人机；
2)
在无人机巡航途中布置机巢充电站，无人机电量不足时自主降落至充电站补充电能；
3)
无人机电量过低时自主停挂在巡航途中高压线上，完成无线充电
。
但前两种方式均存在成本高，维护困难等问题，而第三种方式不仅成本低，维护简单等优势，并且更加灵活，因而无人机自主挂线栖息充电技术逐渐成为当下研究的热门
。
[0003]无人机挂线栖息充电的前提是要对高压线感知，确定高压线的位置
。
目前主流的感知方式主要基于激光雷达
、
视觉传感器等；采用具备深度测量能力的深度相机，解决高压线识别
、
实时定位等问题，目前基于视觉的高压线识别可以分为传统方法和基于深度学习的方法
。
[0004]而现有技术中的缺陷在于，传统的电力线分割算法使用电力线自身特征进行匹配滤波检测，容易检测到线性结构噪声，需要进行大量后处理用以滤除噪声和平滑检测结果
。
部分技术为了避免大量的后处理运算，从而提升算法的运行速度及检测精度，卷积神经网络开始用于设计端到端的电力线检测算法
。
但神经网络的一些随机性与不确定性使得这些算法产生了一些显而易见的“杂点”，同时也没有充分利用电力线本身的结构特点，导致分割出来的电力线出现断裂
、
分割不均匀等现象
。
同时，这些神经网络的算法在无人机移动边缘端的占用时间长，资源消耗大，实时性较差，也没有充分地利用图像的边缘特点，导致分割出来的电线不够精确，从而导致后续选点定位等一系列过程出现误差，这种误差最终极有可能会引起无人机飞行过程中的安全事故
。
另外，颜色纹理不明显也使得高压线特征点难以被跟踪
。

技术实现思路

[0005]针对现有现有技术没有充分利用电力线本身的结构特点和图像的边缘特点，导致分割出来的电线不够精确，以及颜色纹理不明显也使得高压线特征点难以被跟踪的技术问题，本专利技术提供了一种无人机高压线目标点选取与实时定位方法
。
[0006]为实现上述技术目的，本专利技术采用的技术方案如下：
[0007]一种无人机高压线目标点选取与实时定位方法，包括步骤：
[0008]S1、
通过无人机搭载视觉深度相机获取高压线图像；
[0009]S2、
通过用于电力线图像分割的深度学习模型对获取的高压线图像进行切割，获取高压线分割蒙版；
[0010]S3、
采用电力线蒙版分割滤波方法获取滤波后的高压线分割蒙版，以获得高压线分割图像；
[0011]S4、
以某帧高压线图像为初始帧，根据初始帧的高压线分割图像，选取高压线中点作为高压线定位目标点，确定目标点所在位置的深度，进而获得初始帧相机坐标系下目标点的三维坐标；
[0012]S5、
随无人机的移动，持续获得高压线图像及其高压线分割蒙版，同时基于该高压线分割蒙版提取该原始高压线图像上的特征点；
[0013]在当前帧中跟踪前一帧高压线图像的特征点，采用
PnP
方法求解相机相对运动，进而完成高压线目标点相机坐标系下位置的更新；
[0014]S6、
根据无人机机体坐标系与相机坐标系之间的关系，将目标点转换到机体坐标系下的三维坐标
。
[0015]进一步地，步骤
S2
中的深度学习模型为
U
‑
Net
网络模型
。
[0016]进一步的，所述
U
‑
Net
网络模型中，输入图像从3维仅扩展到
32
维，后续的每一次通道数都相对于原始
U
‑
Net
网络模型减小了一半，即对应的解码器编码器部分每一层通道数都会缩小2倍
。
[0017]进一步地，
U
‑
Net
网络模型的训练中，采用
DiceLoss
和
FocalLoss
两种损失函数结合作为损失函数
Loss
，其表达式为：
[0018]Loss
＝
Dice loss+Focal loss。
[0019]进一步地，损失函数
DiceLoss
的表达式为：
[0020][0021]式中：
X
为分割后的预测图的点集，
Y
为当前标签图的点集
。
[0022]损失函数
Focalloss
点表达式为：
[0023][0024]其中：
p
为模型预测为前景的概率，是样本标签，
β
为调节因子，
α
为前景的损失权重
。
[0025]进一步地，步骤
S3
中的电力线蒙版分割滤波方法包括：
[0026]取出蒙版中所有的电线点，判断当前点是否为图像边缘以及当前点与周围点值是否相同，将所有图像边缘点以及当前点与周围点值不相同的点记为边线点，则得到了基于图像蒙版的边缘检测图像；
[0027]将前面得到的边缘检测图像进行轮廓提取，取出面积最大轮廓内点作为电线，其它作为背景，得到最终的电线滤波后的蒙版
。
[0028]进一步地，步骤
S4
的详细步骤包括：
[0029]基于高压线分割图像均匀提取若干点并选取中点作为高压线目标点
p
target
＝
[u
target
,v
target
]T
，其中
P
表示目标点在图像中的像素坐标，
u
和
v
分别表示目标点在像素坐标系下
u
轴与
v
轴的位置，下标
target
表示目标点；
[0030]对高压线分割蒙板进行膨胀计算，以扩大蒙板中的高压线区域；
[0031]统计深度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人机高压线目标点选取与实时定位方法，其特征在于，包括步骤：
S1、
通过无人机搭载视觉深度相机获取高压线图像；
S2、
通过用于电力线图像分割的深度学习模型对获取的高压线图像进行切割，获取高压线分割蒙版；
S3、
采用电力线蒙版分割滤波方法获取滤波后的高压线分割蒙版，以获得高压线分割图像；
S4、
以某帧高压线图像为初始帧，根据初始帧的高压线分割图像，选取高压线中点作为高压线定位目标点，确定目标点所在位置的深度，进而获得初始帧相机坐标系下目标点的三维坐标；
S5、
随无人机的移动，持续获得高压线图像及其高压线分割蒙版，同时基于该高压线分割蒙版提取该原始高压线图像上的特征点；在当前帧中跟踪前一帧高压线图像的特征点，采用
PnP
方法求解相机相对运动，进而完成高压线目标点相机坐标系下位置的更新；
S6、
根据无人机机体坐标系与相机坐标系之间的关系，将目标点转换到机体坐标系下的三维坐标
。2.
根据权利要求1所述的方法，其特征在于，步骤
S2
中的深度学习模型为
U
‑
Net
网络模型
。3.
根据权利要求2所述的方法，其特征在于，所述
U
‑
Net
网络模型中，输入图像从3维仅扩展到
32
维，后续的每一次通道数都相对于原始
U
‑
Net
网络模型减小了一半，即对应的解码器编码器部分每一层通道数都会缩小2倍
。4.
根据权利要求2所述的方法，其特征在于，
U
‑
Net
网络模型的训练中，采用
Dice Loss
和
FocalLoss
两种损失函数结合作为损失函数
Loss
，其表达式为：
LosS
＝
Dice losS+Focalloss
；损失函数
Dice Loss
的表达式为：式中：
X
为分割后的预测图的点集，
Y
为当前标签图的点集；损失函数
Focal loss
点表达式为：其中：
p
为模型预测为前景的概率，是样本标签，
β
为调节因子，
α
为前景的损失权重
。5.
根据权利要求1所述的方法，其特征在于，步骤
S3
中的电力线蒙版分割滤波方法包括：取出蒙版中所有的电线点，判断当前点是否为图像边缘以及当前点与周围点值是否相同，将所有图像边缘点以及...

【专利技术属性】
技术研发人员：江涛，程麒，黄江帅，苏晓杰，
申请(专利权)人：重庆大学，
类型：发明
国别省市：