基于无人机的公路巡检检测及智能飞行控制方法技术

本发明专利技术实施例提供的基于无人机的公路巡检检测及智能飞行控制方法，应用于信息技术领域，通过获取至少两张待巡检道路的道路图像，其中，至少两张道路图像是拍摄云台在无人机飞行过程中采集到的连续的道路图像；通过预先训练好的特征提取网络，对至少两张道路图像进行道路标线的识别；针对任一道路图像，计算该道路图像中识别到的道路标线和预设视觉区域的距离，得到第一距离；根据至少两张道路图像对应的第一距离，计算当前的方向修正参数和横移修正参数；根据方向修正参数和横移修正参数生成飞行控制指令，并向无人机发送飞行控制指令，以控制无人机进行飞行

【技术实现步骤摘要】
基于无人机的公路巡检检测及智能飞行控制方法


[0001]本专利技术涉及信息
，特别是涉及基于无人机的公路巡检检测及智能飞行控制方法
。

技术介绍

[0002]目前，我国的公路总里程非常巨大，并且还在逐年上升
。
而在日常的道路维护过程中，往往需要进行道路的巡检，以便及时发现道路破损和道路上的杂物等，以便及时进行道路的修复和杂物的清除
。
[0003]目前，主流的巡检方式是人工结合道路巡检车的方法进行巡检，通过该方法进行巡检时，人力占用主要地位，不但人力成本高，而且还要考虑路况等因数的影响，导致巡检效率往往较低
。

技术实现思路

[0004]本专利技术实施例的目的在于提供基于无人机的公路巡检检测及智能飞行控制方法，以实现提高巡检效率的目的
。
具体技术方案如下：
[0005]本专利技术实施例的第一方面，首先提供了一种无人机巡检方法，应用于无人机巡检系统中的边缘计算机，所述无人机巡检系统还包括：无人机和拍摄云台，所述方法包括：
[0006]获取至少两张待巡检道路的道路图像，其中，所述至少两张道路图像是所述拍摄云台在所述无人机飞行过程中采集到的连续的道路图像；
[0007]通过预先训练好的特征提取网络，对所述至少两张道路图像进行道路标线的识别；
[0008]针对任一道路图像，计算该道路图像中识别到的道路标线和预设视觉区域的距离，得到第一距离；
[0009]根据所述至少两张道路图像对应的第一距离，计算当前的方向修正参数和横移修正参数；
[0010]根据所述方向修正参数和横移修正参数生成飞行控制指令，并向所述无人机发送所述飞行控制指令，以控制所述无人机进行飞行
。
[0011]在一种可能的实施方式中，所述预先训练好的特征提取网络包括卷积层和归一化层，所述通过预先训练好的特征提取网络，对所述至少两张道路图像进行道路标线的识别，包括：
[0012]通过所述卷积层计算每一道路图像中每一像素对应的特征值；
[0013]通过所述卷积层进行下采样，计算每一道路图像中每一预设区域的特征值对应的聚合值；
[0014]计算所述卷积层中卷积核和每一预设区域的聚合值的乘积，得到目标数据特征；
[0015]通过所述归一化层对所述目标数据特征进行归一化，并根据归一化后的数据特征计算得到所述道路图像中道路标线的检测框的位置坐标；
[0016]根据识别到的检测框的位置坐标计算得到所述道路标线的位置坐标
。
[0017]在一种可能的实施方式中，所述预先训练好的特征提取网络的训练过程，包括：
[0018]将样本图像输入待训练的特征提取网络，计算得到所述样本图像中的预测检测框；
[0019]根据所述预测检测框计算得到所述待训练的特征提取网络当前的损失；
[0020]根据所述当前损失对所述待训练的特征提取网络的参数进行修改，并返回所述将样本图像输入待训练的特征提取网络，计算得到所述样本图像中的预测检测框的步骤继续训练，直至当前损失小于预设阈值或达到预设循环次数，得到所述预先训练好的特征提取网络
。
[0021]在一种可能的实施方式中，所述根据所述预测检测框计算得到所述待训练的特征提取网络当前的损失，包括：
[0022]识别所述预测检测框和实际检测框的重叠区域的面积；
[0023]计算重叠区域的面积，与所述预测检测框和所述实际检测框的面积之和的比值，得到第一指标；
[0024]计算所述预测检测框和所述实际检测框的中心点之间的距离，得到第二距离；
[0025]计算预设权重和所述预测检测框和所述实际检测框的宽高比的乘积，得到第一乘积；
[0026]通过所述第一指标
、
所述第二距离
、
所述第一乘积，计算得到所述当前损失
。
[0027]在一种可能的实施方式中，所述通过所述第一指标
、
所述第二距离
、
所述第一乘积，计算得到所述当前损失，包括：
[0028]通过所述第一指标
、
所述第二距离
、
所述第一乘积，根据预设公式：
[0029][0030][0031]计算得到所述当前损失，其中，
IoU
为第一指标，
(p2(b,b
gt
))/c2为第二距离，
c
为包含预测框和真实框最小外框的对角线距离；
b
和
b
gt
为预测框和
GT
的中心点，
p2为求两框的中心点的欧式距离，
α
V
为第一乘积，
V
表示长宽比的相似性，
α
为权重参数，
LOSS
CIoU
为当前损失
。
[0032]在一种可能的实施方式中，所述根据所述至少两张道路图像对应的第一距离，计算当前的方向修正参数和横移修正参数，包括：
[0033]根据所述至少两张道路图像对应的第一距离，计算所述无人机前进方向和道路方向的夹角；
[0034]计算所述至少两张道路图像对应的第二距离；
[0035]根据所述夹角和所述第二距离，计算所述无人机当前的方向修正参数和横移修正参数
。
[0036]在一种可能的实施方式中，所述飞行控制指令还包括高度修正指令，所述根据所述方向修正参数和横移修正参数生成飞行控制指令，并向所述无人机发送所述飞行控制指令，以控制所述无人机进行飞行之前，所述方法还包括：
[0037]获取所述拍摄云台的焦距；
[0038]识别任一目标点在世界坐标系中的坐标位置和在所述拍摄云台的传感器坐标系中的坐标位置；
[0039]根据所述拍摄云台焦距
、
任一目标点在世界坐标系中的坐标位置和在传感器坐标系中的坐标位置，计算所述拍摄云台到地面的第三距离；
[0040]根据所述第三距离和预设飞行高度，计算得到高度修正指令
。
[0041]本专利技术实施例的第二方面，提供了一种无人机巡检装置，应用于无人机巡检系统中的边缘计算机，所述无人机巡检系统还包括：无人机和拍摄云台，所述装置包括：
[0042]图像获取模块，用于获取至少两张待巡检道路的道路图像，其中，所述至少两张道路图像是所述拍摄云台在所述无人机飞行过程中采集到的连续的道路图像；
[0043]标线识别模块，用于通过预先训练好的特征提取网络，对所述至少两张道路图像进行道路标线的识别；
[0044]距离计算模块，用于针对任一道路图像，计算该道路图像中识别到的道路标线和预设视觉区域的距离，得到第一距离；
[0045]参数计算模块，用于根据所述至少两张道路图像对应的第一距离，计算当前的方向修正参数和横移修正参数；
[0046]指令控制模块，用于根据所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人机巡检方法，其特征在于，应用于无人机巡检系统中的边缘计算机，所述无人机巡检系统还包括：无人机和拍摄云台，所述方法包括：获取至少两张待巡检道路的道路图像，其中，所述至少两张道路图像是所述拍摄云台在所述无人机飞行过程中采集到的连续的道路图像；通过预先训练好的特征提取网络，对所述至少两张道路图像进行道路标线的识别；针对任一道路图像，计算该道路图像中识别到的道路标线和预设视觉区域的距离，得到第一距离；根据所述至少两张道路图像对应的第一距离，计算当前的方向修正参数和横移修正参数；根据所述方向修正参数和横移修正参数生成飞行控制指令，并向所述无人机发送所述飞行控制指令，以控制所述无人机进行飞行
。2.
根据权利要求1所述的方法，其特征在于，所述预先训练好的特征提取网络包括卷积层和归一化层，所述通过预先训练好的特征提取网络，对所述至少两张道路图像进行道路标线的识别，包括：通过所述卷积层计算每一道路图像中每一像素对应的特征值；通过所述卷积层进行下采样，计算每一道路图像中每一预设区域的特征值对应的聚合值；计算所述卷积层中卷积核和每一预设区域的聚合值的乘积，得到目标数据特征；通过所述归一化层对所述目标数据特征进行归一化，并根据归一化后的数据特征计算得到所述道路图像中道路标线的检测框的位置坐标；根据识别到的检测框的位置坐标计算得到所述道路标线的位置坐标
。3.
根据权利要求2所述的方法，其特征在于，所述预先训练好的特征提取网络的训练过程，包括：将样本图像输入待训练的特征提取网络，计算得到所述样本图像中的预测检测框；根据所述预测检测框计算得到所述待训练的特征提取网络当前的损失；根据所述当前损失对所述待训练的特征提取网络的参数进行修改，并返回所述将样本图像输入待训练的特征提取网络，计算得到所述样本图像中的预测检测框的步骤继续训练，直至当前损失小于预设阈值或达到预设循环次数，得到所述预先训练好的特征提取网络
。4.
根据权利要求3所述的方法，其特征在于，所述根据所述预测检测框计算得到所述待训练的特征提取网络当前的损失，包括：识别所述预测检测框和实际检测框的重叠区域的面积；计算重叠区域的面积，与所述预测检测框和所述实际检测框的面积之和的比值，得到第一指标；计算所述预测检测框和所述实际检测框的中心点之间的距离，得到第二距离；计算预设权重和所述预测检测框和所述实际检测框的宽高比的乘积，得到第一乘积；通过所述第一指标
、
所述第二距离
、
所述第一乘积，计算得到所述当前损失
。5.
根据权利要求4所述的方法，其特征在于，所述通过所述第一指标
、
所述第二距离
、
所述第一乘积，计算得到所述当前损失，包括：
通过所述第一指标
、
所述第二距离
、
所述第一乘积，根据预设公式：所述第一乘积，根据预设公式：计算得到所述当前损失，其中，
IoU
为第一指标，

【专利技术属性】
技术研发人员：韩建峰，李帅，宋丽丽，孙佳乐，郭大鹏，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：