基于视觉的低空无人机的飞行控制方法技术

本发明专利技术提供一种基于视觉的低空无人机的飞行控制方法，具体步骤为：利用深度学习对待检测障碍物进行检测：采集航拍图像样本，建立改进单阶段目标检测网络模型；将测试集输入到优化的网络中得到待检测障碍物的结果。利用图像处理对检测结果再进行待检测障碍物的检测：对输入的待检测图像进行灰度处理；对图像的边缘信息进行增强，并对图像进行平滑和剔除噪点处理；对基于LSD直线检测算法检测的结果进行筛选；将筛选结果进行分组和拟合，得到待检测障碍物的结果。最后根据障碍物的检测结果进行飞行控制指令的发布。本发明专利技术具有较快的检测速度和较高的准确率，具有高实时性与高鲁棒性的特点，对实现无人机自动避障，保障无人机低空飞行具有重要意义。飞行具有重要意义。飞行具有重要意义。

【技术实现步骤摘要】
基于视觉的低空无人机的飞行控制方法


[0001]本专利技术涉及无人机自主避障
，特别涉及一种基于视觉的无人机障碍物检测与智能飞行控制方法。

技术介绍

[0002]随着无人机技术的发展，无人机能自主完成既定任务变得越来越重要。无人机在执行任务的过程中会遇到障碍物，为了保证无人机能更好地完成既定任务，使得无人机能够安全地到达目标点，需要针对无人机飞行过程中的障碍物进行识别，使得无人机在遇到障碍物的时候能够进入避障状态，进而避开障碍物。在低空无人机飞行中，电力线被认为是最具威胁性的危险源之一，也是最难避开的障碍物之一。除了电力线之外，树木与电线杆对于低空飞行无人机的安全飞行也构成了威胁。
[0003]近年来，已经提出了许多基于视觉的电力线检测算法，以促进自动驾驶无人机和自动避障。这些算法通常是通过边缘检测、霍夫变换或Radon变换、以及基于电力线约束的直线拟合来实现电力线检测。然而上述基于电力线检测算法只能在一些简单场景下应用，在复杂场景下不仅检测速度慢检测不准确，而且需要大量的后处理工作来区分电力线和伪线，极容易出现误检、漏检等问题。此外低空无人机飞行过程中的其他障碍物还包括树障和电线杆等，传统的目标检测方法对这类障碍物的检测速度与精度低，在背景存在干扰的时候非常容易漏检与误检，性能会大大降低。

技术实现思路

[0004]针对现有无人机障碍物检测的缺陷，本专利技术提供一种基于视觉的低空无人机的飞行控制方法，首先，对于电力线等典型障碍物的检测，利用图像处理的检测方法，通过Hessian矩阵方法对图像进行图像预增强处理，有助于特征提取正确识别出图像中的电力线；利用LSD直线检测算法提取图像中的直线边缘信息，并降低处理运算复杂度，提高了检测速度与鲁棒性；利用长度加角度筛选并设置容忍阈值，剔除图像中的干扰；利用层次聚类与最小二乘法拟合出检测结果，有效提高了检测的精度。其次，对于树木与电线杆等典型障碍物的检测，利用深度学习网络从航拍图像样本中自动检测出树障与电线杆等典型障碍物，对于实现无人机自动避障、保障无人机低空安全飞行、确保顺利完成既定任务具有重要意义。
[0005]本专利技术提供了一种基于视觉的低空无人机的飞行控制方法，具体实施步骤如下：
[0006]S1、利用深度学习对无人机低空飞行时针对包括树木、电线杆和电力线的待检测障碍物进行检测：
[0007]S11、采集无人机飞行过程中的航拍图像样本，并通过数据增强方法扩充样本数量；
[0008]S12、对S11中航拍图像样本的典型目标进行标注，生成典型目标的检测数据集，并将检测数据集分为训练集、验证集和测试集；
[0009]S13、建立改进单阶段目标检测网络模型；
[0010]S14、将训练集和测试集输入到改进单阶段目标检测网络模型中，并设置训练参数；
[0011]S15、利用优化器对改进单阶段目标检测网络模型进行训练，并记录和保存每一轮所训练好的模型及对应的训练损失与验证损失，直到单阶段目标检测网络收敛；
[0012]S16、将测试集输入到S15训练好的改进单阶段目标检测网络模型中进行测试，得到待检测障碍物的检测结果；
[0013]S2、利用图像处理对S1得到的检测结果再进行待检测障碍物的检测：
[0014]S21、对待检测障碍物检测结果进行灰度化处理得到灰度图像；
[0015]S22、增强S21得到的灰度图像中待检测障碍物的边缘信息，得到增强后图像；
[0016]S23、对S22得到的增强图像进行高斯滤波和边缘检测；
[0017]S24、对最终预处理后的图像DE(x,y)进行检测，得到待检测障碍物中直线的检测结果；
[0018]S25、将S24得到的图像进行主方向筛选和长度筛选；
[0019]S26、利用凝聚层次聚类方法将S25得到的直线检测结果进行分组；
[0020]S27、对于S26得到的分组结果，采用最小二乘法进行拟合，得到最终的待检测障碍物的检测结果；
[0021]S3、根据无人机飞行条件因素生成判决框，结合S1和S2得到待检测障碍物的检测结果，进行飞行控制与避障指令的发送，以使无人机进行避障：
[0022]S31、以无人机视角的中心点作为判决框的中心，生成方形判决框，所述判决框的边长R的表达式如下：
[0023][0024]其中，K为缩放系数，R
A
为无人机视角框的宽，h为无人机的高度；
[0025]S32、根据检测出的障碍物与判决框的相对位置，向无人机发送相应的飞行控制与避障指令。
[0026]可优选的是，所述步骤S13的具体实施过程如下：
[0027]S131、建立主干特征提取网络：将主干特征提取网络CSPdarknet53替换为MobileNetv3网络，利用MobileNetv3网络输出的有效特征层进行特征提取；
[0028]S132、建立特征融合网络：将S131提取的不同层次的有效特征层进行融合，并在主干特征网络输出的三个有效特征层之后分别设置注意力机制；
[0029]S133、建立预测网络：将基本卷积块和1*1的卷积连接，得到预测网络。可优选的是，在步骤S21中，所述灰度化处理的具体表达式如下：
[0030]Gray(x,y)＝0.3R+0.6G+0.1B
[0031]其中，Gray(x,y)为灰度图像，R、G和B分别为障碍物检测结果的三个通道的像素分布函数。
[0032]可优选的是，在步骤S22中增强灰度图像中待检测障碍物的边缘信息的具体过程
为：计算图像I(x,y)各点处的Hessian矩阵的特征值λ，具体表达式如下：
[0033][0034]其中，V(x,y)为图像增强结果，R表示团块度度量，S表示平滑度度量，β是R的调整参数，c是S的调整参数。
[0035]可优选的是，所述步骤S23的具体实施过程如下：
[0036]S231、利用高斯滤波器的二维高斯函数对二值化图像进行滤波处理，去除二值化图像中的噪声，得到平滑图像，所述二维高斯函数的具体表达式为：
[0037][0038]其中，σ作为高斯滤波器参数用于控制图像的平滑度，x，y为像素点的坐标，G(x,y)为高斯滤波后的图像；
[0039]S232、利用y方向的Canny算子对G(x,y)进行Canny边缘检测得到边缘图像E(x,y)；
[0040]S233、将边缘图像E(x,y)进行膨胀运算去除噪点平滑边缘，得到最终预处理后的图像DE(x,y)。
[0041]可优选的是，所述步骤S25的具体实施过程如下：
[0042]S251、将S24中检测到的直线按照直线倾斜角度平均划分为八个区域；
[0043]S252、分别计算八个区域内每个区域的直线的平均长度，将平均长度最长的区域设置为主方向，并将平均长度最长的区域的平均角度定义为主方向角度；
[0044]S253、设置主方向角度的阈值角，形成候选区域，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的低空无人机的飞行控制方法，其特征在于，具体实施步骤如下：S1、利用深度学习对无人机低空飞行时针对包括树木、电线杆和电力线的待检测障碍物进行检测：S11、采集无人机飞行过程中的航拍图像样本，并通过数据增强方法扩充样本数量；S12、对S11中航拍图像样本的典型目标进行标注，生成典型目标的检测数据集，并将检测数据集分为训练集、验证集和测试集；S13、建立改进单阶段目标检测网络模型；S14、将训练集和测试集输入到改进单阶段目标检测网络模型中，并设置训练参数；S15、利用优化器对改进单阶段目标检测网络模型进行训练，并记录和保存每一轮所训练好的模型及对应的训练损失与验证损失，直到单阶段目标检测网络收敛；S16、将测试集输入到S15训练好的改进单阶段目标检测网络模型中进行测试，得到待检测障碍物的检测结果；S2、利用图像处理对S1得到的检测结果再进行待检测障碍物的检测：S21、对待检测障碍物检测结果进行灰度化处理得到灰度图像；S22、增强S21得到的灰度图像中待检测障碍物的边缘信息，得到增强后图像；S23、对S22得到的增强图像进行高斯滤波和边缘检测；S24、对最终预处理后的图像DE(x,y)进行检测，得到待检测障碍物中直线的检测结果；S25、将S24得到的图像进行主方向筛选和长度筛选；S26、利用凝聚层次聚类方法将S25得到的直线检测结果进行分组；S27、对于S26得到的分组结果，采用最小二乘法进行拟合，得到最终的待检测障碍物的检测结果；S3、根据无人机飞行条件因素生成判决框，结合S1和S2得到待检测障碍物的检测结果，进行飞行控制与避障指令的发送，以使无人机进行避障：S31、以无人机视角的中心点作为判决框的中心，生成方形判决框，所述判决框的边长R的表达式如下：其中，K为缩放系数，R
A
为无人机视角框的宽，h为无人机的高度；S32、根据检测出的障碍物与判决框的相对位置，向无人机发送相应的飞行控制与避障指令。2.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法，其特征在于，所述步骤S13的具体实施过程如下：S131、建立主干特征提取网络：将主干特征提取网络CSPdarknet53替换为MobileNetv3网络，利用MobileNetv3网络输出的有效特征层进行特征提取；S132、建立特征融合网络：将S131提取的不同层次的有效特征层进行融合，并在主干特征网络输出的三个有效特征层之后分别设置注意力机制；S133、建立预测网络：将基本卷积块和1*1的卷积连接，得到预测网络。3.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法，其特征在于，在步骤
S21中，所述灰度化处理的具体表达式如下：Gray(x,y)＝0.3R+0.6G+0.1B其中，Gray(x,y)为灰度图像，R、G和B分别为障碍物检测结果的三个通道的像素分布函数。4.根据权利要求1所述的基于视觉的低空无人机的飞行控制方法，其特征在于，在步骤S22中增强灰度图像中待检测障碍物的边缘信息...

【专利技术属性】
技术研发人员：缪存孝，唐友军，杜玉虎，缪小妹，
申请(专利权)人：苏州邈航科技有限公司，
类型：发明
国别省市：