一种无人机机群协同机载计算的大场景密集3D环境感知软件制造技术

在无GNSS的未知、超低空环境，以及多约束条件下，比如缺乏220v电力支持、无人机群(UAVs)数量变化、待搜索目标数量未知、缺乏遥控能力、没有地面或者云端服务器的情况下，实现“去中心化非编队飞行的低慢小同质视觉无人机群”协同构建“3D稠密地图”是集群自主智能的一个研究前沿。本专利以机载国产GPU在线并行计算为基础，提出多UAVs去中心化协同的数据传递方案，建立多UAVs去中心化构建3D稠密环境的协同方案，并提出基于每架UAV机载单卡GPU，实现多UAVs协同的、去中心化的3D稠密环境构建方法。最终达到多UAVs低速飞行时的机载实时构建3D稠密环境的目的。3D稠密环境的目的。

【技术实现步骤摘要】
一种无人机机群协同机载计算的大场景密集3D环境感知软件
1.

[0001]本技术属于中小型旋翼无人机集群智能领域中的一块，即：旋翼无人机集群依靠机载计算、协同感知大场景密集高清3D环境。
2.
技术介绍

[0002]多约束条件下，旋翼UAVs、陌生(室内)环境、无GPS、依靠视觉感知3D密集环境、220v电力缺失、去中心化、面向未来战争的3D CPP问题，有很多研究要做。
[0003]由于单个中小型无人机存在以下缺点：载荷能力有限、低功耗、计算能力有限等，难以支持其独立完成任务。所以，中小型无人机朝着轻量级、低成本、协同集群的趋势发展。
[0004]美国空军2016年发布《小型无人机系统(SUAS)飞行规划2016
‑
2036》
[1]，分析了小型无人机的优势和定位，从战略层面肯定了中小型无人机系统的前景和价值
[2]。
[0005]但是，依据美国空军2005年发布《无人机系统线路图2005
‑
2030
[3]》的无人机自主等级，人类目前还没有实现“10级完全自主集群”技术
[4][5][6][7]。
[0006]单机自主：1级(遥控引导)、2级(实时故障诊断)、3级(故障自修复与飞行环境自适应)和4级(航路实时重规划)。
[0007]多机自主：5级(多机协同)、6级(多机战术重规划)和7级(多机战术目标)。
[0008]集群自主：8级(分布式协同控制)、9级(集群战略目标)和10级(完全自主集群)。协同集群UAVs的组织方式有两种：集中中心化、分布式去中心化。
[0009]集中中心化：由一个中心服务器收集多UAVs的信息并承担耗时的计算任务，如图1所示。但是，一旦中心服务器出现问题则代表任务失败。UAV的反应速度受其到中心服务器的通信距离、服务器的计算速度影响。中心服务器往往体积较大、电力要求高、散热大。
[0010]分布式、去中心化：没有地面中心服务器或者云端、边缘计算服务器，仅有集群UAVs。每个UAV仅依靠机载有限的自主决策与局部的感知、互相通信能力，达到集群个体间无中心式地协同、轻量化集群自主行为，如图2所示。
[0011]分布式、去中心化的多UAVs组织方式具有不可忽视的优势和应用价值，比如：
[0012](1)在相同通信能力下，搜索范围比集中式更广、更灵活、计算耗时更少
[6]。
[0013](2)由于没有中心服务器，战时士兵携带方便、对电力要求也较少，便携充电电池即可。而集中式、大型服务器却意味着必须找到220v供电场所，并且散热高、噪声大。
[0014]然而，在面向实战、面向未来、以及严酷战场环境约束条件下，多UAVs分布式、去中心化的集群自主智能仍然面临很大的挑战。目前国内外学术界对多UAVs去中心化集群智能的研究成果非常少，并没有完全解决此类问题
[4][5][6]。
[0015]本专利目的：
[0016]本专利旨在填补国内外对这一背景问题的工程、研究空白。针对多约束环境，无GPS、陌生环境、缺乏220v电力支持、UAVs数量变化、待搜索目标数量未知、缺乏遥控能力、超低空3D环境、没有地面或者云端服务器的情况下，依靠UAVs机载GPU并行计算，实现去中心化协同地3D密集视觉环境感知。
3.
技术实现思路

[0017]本专利技术在现有最新技术的基础之上，比如端到端5G网络通信技术(Device to Device 5G Network)、精度较高的IMU惯性导航技术，提出：
[0018]多UAVs去中心化的、机载GPU并行双目图像无缝拼接算法和软件：
[0019]这是因为是超低空3D全覆盖航迹规划，所以不能将3D空间压缩至2D平面进行处理。同时，多Visual
‑
UAVs在陌生3D环境飞行时，机载相机拍摄到的视场可能由大到小、由小到大、以及不同的缩放变形、遇到动态移动的人和物等。
[0020]这项技术包含两个方面：
[0021](1)单UAV机载GPU双目图像无缝拼接：移动相机、动态场景下、连续两帧双目2D图像的GPU并行无缝拼接，构建密集3D地图；
[0022](2)多UAVs去中心化协同的双目图像拼接：多UAVs分布式组网传递数据、局部和全景多分辨率图像的GPU并行拼接。
4.附图说明
[0023]图1：集中中心化的多UAVs组织方式。
[0024]图2：依靠端到端5G通信、分布式去中心化的多UAVs组织方式。
[0025]图3：本项目整体功能流程方案
[0026]图4：(a
‑
d)分别为2D双目图像拼接的输入和输出
[0027]图5：近五年Stat
‑
of
‑
art方法中2D双目图像拼接的通用流程。
[0028]图6：APAP算法使用网格Cells代表图像，以网格为单元做单应性矩阵变换。
[0029]图7：申请人团队提出的GPU并行2D Cellular Matrix模型。
[0030]图8：本专利提出基于2D Cellular Matrix的GPU并行Line
‑
Meet APAP算法实现单目(左目、右目)图像拼接的步骤。
[0031]图9：基于2D Cellular Matrix模型，对输入图像进行分层网格划分和网格变形，用于本专利对APAP类算法的GPU大规模并行。
[0032]图10：初试状态多UAVs之间共享的全景图。
[0033]图11：某个单UAV飞行过程中拍摄到的局部环境图像。
5.具体实施方式
[0034]本专利技术基于目前最新的计算机视觉技术、双目相机和惯性导航装置(IMU)、端到端5G无线通信技术，解决基于机载GPU并行计算的、旋翼多Visual
‑
UAVs去中心化3D密集环境感知。
[0035]具体实施整体功能流程如下图3所示。项目将多UAVs去中心化协同飞行分为两个阶段，起飞阶段和自由飞行阶段，两个阶段的不同点主要体现在去中心化的实现上。
[0036]本专利关键技术：多UAVs去中心化的、机载GPU并行双目图像无缝拼接，包含局部与全景图的GPU并行拼接。
[0037]多UAVs在不断飞行过程中，通过双目视觉感知局部3D环境，需要单UAV对其拍摄的2D图像进行拼接、融合成3D地图；同时，也需要对多UAVs组网传递的新增环境进行拼接、融合成全景3D密集地图。
[0038]本专利完全依赖机载普通单卡GPU并行计算、实现去中心化地多UAVs协同双目图像拼接，用以构建3D密集地图。
[0039]包含以下两个方面：
[0040]5.1单UAV机载GPU双目图像无缝拼接；
[0041]5.2多UAVs去中心化协同地双目图像拼接。
[0042]以下分别介绍：
[0043]5.1单UAV机载GP本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.使用申请人提出的GPU并行2D/3D Cellular Matrix模型用于GPU并行图像拼接算法。2.本发明提出的基于line
‑
meetAP...

【专利技术属性】
技术研发人员：乔文豹，
申请(专利权)人：乔文豹，
类型：发明
国别省市：