基于单目深度估计和反应式策略的飞行器自主导航方法技术

本发明专利技术公开了基于单目深度估计和反应式策略的飞行器自主导航方法，该方法包括获取无人飞行器图像的训练数据集，并利用训练数据集对深度估计网络进行训练得到训练好的深度估计网络；利用训练数据集中的多张图片对训练好的深度估计网络的网络参数进行量化操作得到卷积张量，利用最优的张量划分方式对卷积张量进行划分生成网络代码数据；利用实时无人飞行器图像和网络代码数据，通过训练好的深度估计网络的网络计算得到实时无人飞行器图像估计的深度图；利用预设的策略公式对深度图进行反应式计算，生成无人飞行器的期望飞行角速度，并基于期望飞行角速度和有限状态机的控制方式完成无人飞行器的自主导航。本发明专利技术可以有效地完成无人飞行器自主避障。地完成无人飞行器自主避障。地完成无人飞行器自主避障。

【技术实现步骤摘要】
基于单目深度估计和反应式策略的飞行器自主导航方法


[0001]本专利技术涉无人飞行器导航
，特别是涉及基于单目深度估计和反应式策略的飞行器自主导航方法。

技术介绍

[0002]自主导航能力是无人机最重要和基本的能力之一。无人机自主导航的传统方法是采用“感知
‑
定位
‑
建图
‑
规划
‑
避障
‑
控制”的框架。它包括使用机外传感器(例如GPS)或机载传感器(例如视觉惯性传感器)来估计无人机的运动，构建环境的局部3D地图，并依据无人机位姿及环境地图规划出可通过的安全轨迹。然而，这样基于“感知
‑
定位
‑
建图
‑
规划
‑
避障
‑
控制”框架的方法对于计算受限的平台来说太过于复杂，非常难以实现，在纳型无人飞行器部署这样的算法尚不可能。另一方面，随着人工智能技术的兴起，近期发表的文献表明：突破现有的“感知
‑
定位
‑
建图
‑
规划
‑
避障
‑
控制”的范式，基于卷积神经网络(CNN)设计轻量级“端到端”算法有望实现纳型无人机的自主导航，并且能以极低的功耗在机载资源受限的计算平台实时运行。这些工作对纳型无人机的研究提供了新的思路，即不使用远程基站作为计算平台，仅依赖无人机自带的资源受限平台，通过神经网络算法来实现纳型无人飞行器的自主导航。
[0003]当前对于单目深度估计的研究主要集中在提高准确性上，而这些单目深度估计算法的计算复杂度和内存占用率很大，导致其难以在机器人系统，特别是计算资源和功耗有限的平台上进行部署。因此，一个关键的挑战是如何平衡算法的准确性与对计算资源的要求。

技术实现思路

[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术提出一种基于单目深度估计和反应式策略的飞行器自主导航方法，该方法利用卷积神经网络提取图片深度特征进行编码并解码，以估计得到图片不同像素点处的深度值，并根据得到的深度图进行反应式计算得到当前无人飞行器的期望角速度以完成自主避障。整体算法被成功部署在超低功耗边缘计算芯片上，需要将训练好的网络参数进行量化、将每一层卷积运算进行分解以部署在超低功耗边缘计算芯片上。
[0006]本专利技术地另一个目的在于提出一种基于单目深度估计和反应式策略的飞行器自主导航系统。
[0007]为达上述目的，本专利技术一方面提出一种基于单目深度估计和反应式策略的飞行器自主导航方法，包括：
[0008]获取无人飞行器图像的训练数据集，并利用所述训练数据集对深度估计网络进行训练得到训练好的深度估计网络；
[0009]利用所述训练数据集中的多张图片对所述训练好的深度估计网络的网络参数进行量化操作得到卷积张量，利用最优的张量划分方式对所述卷积张量进行划分生成网络代
码数据；
[0010]利用实时无人飞行器图像和所述网络代码数据，通过所述训练好的深度估计网络的网络计算得到实时无人飞行器图像估计的深度图；
[0011]利用预设的策略公式对所述深度图进行反应式计算，生成无人飞行器的期望飞行角速度，并基于所述期望飞行角速度和有限状态机的控制方式完成无人飞行器的自主导航。
[0012]另外，根据本专利技术上述实施例的基于单目深度估计和反应式策略的飞行器自主导航方法还可以具有以下附加的技术特征：
[0013]进一步地，在本专利技术的一个实施例中，在所述得到训练好的深度估计网络之后，所述方法，还包括：利用NetAdapt剪枝算法对训练好的深度估计网络进行剪枝处理，以滤除网络中预设数量的卷积核。
[0014]进一步地，在本专利技术的一个实施例中，所述利用预设的策略公式对所述深度图进行反应式计算，生成无人飞行器的期望飞行角速度，包括：
[0015][0016][0017][0018]其中，Ψ
i
为像素点对应的角度，d
i
为该像素的深度值，φ为当前无人机朝向方向，Ψ
goal
为目标方向对应的角度，λ
goto
、λ
avoid
、c、σ、w
b
均为可调节的的参数；
[0019]通过将计算得到的期望角速度和朝向目标方向的期望角速度进行加权得到最终的期望飞行角速度
[0020]进一步地，在本专利技术的一个实施例中，所述基于期望飞行角速度和有限状态机的控制方式完成无人飞行器的自主导航，包括：获取无人飞行器的前、左、右三个方向的传感器的测距数据；根据所述测距数据和所述期望飞行角速度，基于反应式算法和跟墙走策略完成无人飞行器的自主导航。
[0021]进一步地，在本专利技术的一个实施例中所述利用最优的张量划分方式对所述卷积张量进行划分生成网络代码数据，包括：利用AutoTiler网络工具选择最优的张量划分方式进行所述卷积张量的划分，以将训练好的深度估计网络在超低功耗边缘计算芯片上的计算过程封装成C语言表示的代码数据。
[0022]为达上述目的，本专利技术另一方面提出一种基于单目深度估计和反应式策略的飞行器自主导航系统，包括：
[0023]网络训练模块，用于获取无人飞行器图像的训练数据集，并利用所述训练数据集对深度估计网络进行训练得到训练好的深度估计网络；
[0024]张量划分模块，用于利用所述训练数据集中的多张图片对所述训练好的深度估计网络的网络参数进行量化操作得到卷积张量，利用最优的张量划分方式对所述卷积张量进行划分生成网络代码数据；
[0025]深度估计模块，用于利用实时无人飞行器图像和所述网络代码数据，通过所述训
练好的深度估计网络的网络计算得到实时无人飞行器图像估计的深度图；
[0026]策略控制模块，用于利用预设的策略公式对所述深度图进行反应式计算，生成无人飞行器的期望飞行角速度，并基于所述期望飞行角速度和有限状态机的控制方式完成无人飞行器的自主导航。
[0027]本专利技术实施例的基于单目深度估计和反应式策略的飞行器自主导航方法及系统，以纳型无人飞行器为平台，针对其小体积、轻重量、低功耗等特点，只依靠单目相机作为传感输入，设计可以实现机载计算的低功耗神经网络，实现纳型无人机的自主导航功能。本专利技术的提出的导航新范式是基于单目深度估计网络+反应式策略的，即直接根据单目相机传感器的输入计算出导航的预期角速度，实现无人飞行器的自主飞行与避障的功能。
[0028]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0029]本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0030]图1为根据本专利技术实施例的基于单目深度估计和反应式策略的飞行器自主导航方法的流程图；
[0031]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目深度估计和反应式策略的飞行器自主导航方法，其特征在于，包括以下步骤：获取无人飞行器图像的训练数据集，并利用所述训练数据集对深度估计网络进行训练得到训练好的深度估计网络；利用所述训练数据集中的多张图片对所述训练好的深度估计网络的网络参数进行量化操作得到卷积张量，利用最优的张量划分方式对所述卷积张量进行划分生成网络代码数据；利用实时无人飞行器图像和所述网络代码数据，通过所述训练好的深度估计网络的网络计算得到实时无人飞行器图像估计的深度图；利用预设的策略公式对所述深度图进行反应式计算，生成无人飞行器的期望飞行角速度，并基于所述期望飞行角速度和有限状态机的控制方式完成无人飞行器的自主导航。2.根据权利要求1所述的方法，其特征在于，在所述得到训练好的深度估计网络之后，所述方法，还包括：利用NetAdapt剪枝算法对训练好的深度估计网络进行剪枝处理，以滤除网络中预设数量的卷积核。3.根据权利要求1所述的方法，其特征在于，所述利用预设的策略公式对所述深度图进行反应式计算，生成无人飞行器的期望飞行角速度，包括：人飞行器的期望飞行角速度，包括：人飞行器的期望飞行角速度，包括：其中，Ψ
i
为像素点对应的角度，d
i
为该像素的深度值，φ为当前无人机朝向方向，Ψ
goal
为目标方向对应的角度，λ
goto
、λ
avoid
、c、σ、w
b
均为可调节的的参数；通过将计算得到的期望角速度和朝向目标方向的期望角速度进行加权得到最终的期望飞行角速度4.根据权利要求3所述的方法，其特征在于，所述基于期望飞行角速度和有限状态机的控制方式完成无人飞行器的自主导航，包括：获取无人飞行器的前、左、右三个方向的传感器的测距数据；根据所述测距数据和所述期望飞行角速度，基于反应式算法和跟墙走策略完成无人飞行器的自主导航。5.根据权利要求1所述的方法，其特征在于，所述利用最优的张量划分方式对所述卷积张量进行划分生成网络代码数据，包括：利用AutoTiler网络工具选择最优的张量划分方式进行所述卷积张量的划分，以将训练好的深度估计网络在超低功耗边缘计算芯片上的计算过程...

【专利技术属性】
技术研发人员：孟子阳，沈王天，尤政，
申请(专利权)人：清华大学，
类型：发明
国别省市：